Intel nos muestra Gaudi 2 corriendo modelos lingüísticos similares a GPT en tiempo real

Intel nos muestra Gaudi 2 corriendo modelos lingüísticos similares a GPT en tiempo real

por Antonio Delgado Actualizado: 22/05/2023 ISC HPC 2023

En el evento ISC HPC 2023 Intel nos ha mostrado en funcionamiento sus módulos Gaudi 2 en formato OCP-OA para tareas de Inteligencia Artifical y Deep Learning.

Geeknetic Intel nos muestra Gaudi 2 corriendo modelos lingüísticos similares a GPT en tiempo real 1

Cada placa Gaudi 2 cuenta con 24 Tensor Processor cores y nada más y nada menos que 96 GB de memoria HBM2 integrada junto a 48 MB de SRM y 24 puertos Ethernet de 100 Gbps. Utilizan el proceso de 7 nanómetros para su fabricación. Están disponible en sistemas de la nube Intel Developer Cloud, o en servidores físicos Gaudi2 Server de Supermicro.

Geeknetic Intel nos muestra Gaudi 2 corriendo modelos lingüísticos similares a GPT en tiempo real 2

Hemos podido ver en funcionamiento a 7 tarjetas Intel Gaudi 2 funcionando a la vez para hacer la inferencia a tiempo real de un sistema lingüístico de Inteligencia Artificial denominado Boom Z. Un sistema similar al sistema GPT que se utiliza en aplicaciones como ChatGPT o bing Chat

Geeknetic Intel nos muestra Gaudi 2 corriendo modelos lingüísticos similares a GPT en tiempo real 3

Intel promete rendimientos de hasta un 2,44 veces superiores a los que consigue una tarjeta NVIDIA A100 en tareas como inferencia de IA de Stable Diffusion y de hasta 1,3 veces en el BLOOMz que hemos podido ver en directo.

Geeknetic Intel nos muestra Gaudi 2 corriendo modelos lingüísticos similares a GPT en tiempo real 4

En la demo, como decíamos, se utilizaron 7 de estos módulos Intel Habana Gaudi 2, sin embargo, su diseño escalable hace que se puedan utilizar muchos más sin perder apenas rendimiento. De hecho, la compañía promete un 0% de pérdida de rendimiento si sumamos hasta 32 módulos Gaudi 2, y tan solo se pierde un 1% cuando se escala a 64 de estos módulos. Es decir, que el rendimiento final es prácticamente el rendimiento de un módulo multiplicado por el número de módulos que se utilicen sin apenas pérdida.

Geeknetic Intel nos muestra Gaudi 2 corriendo modelos lingüísticos similares a GPT en tiempo real 5

Geeknetic Intel nos muestra Gaudi 2 corriendo modelos lingüísticos similares a GPT en tiempo real 6

Fin del Artículo. ¡Cuéntanos algo en los Comentarios!

Redactor del Artículo: Antonio Delgado

Antonio Delgado

Ingeniero Informático de formación, redactor y analista de hardware en Geeknetic desde 2011. Me encanta destripar todo lo que pasa por mis manos, especialmente lo más novedoso en hardware que recibimos aquí para hacer reviews. En mi tiempo libre trasteo con impresoras 3d, drones y otros cachivaches. Para cualquier cosa aquí me tienes.

Comentarios y opiniones sobre: Intel nos muestra Gaudi 2 corriendo modelos lingüísticos similares a GPT en tiempo real ¿Qué opinas? ¿Alguna pregunta?
Liqmaxflo Banner