Ya disponibles los aceleradores IA AMD Instinct MI300X con 192 GB HBM3 y las APUs MI300A con núcleos Zen 4 y GPU CDNA 3

Poco a poco, AMD ha ido desvelando especificaciones y detalles de sus tarjetas de aceleración IA para servidores, las AMD Instinct MI300X con la última arquitectura de aceleradoras AMD CDNA 3.

Ahora, estas AMD Instinct MI300X ya están disponibles en el mercado junto con las AMD Instinct MI300A, una variante que incluye también núcleos de CPU AMD Zen 4 para crear una APU que permita funcionar tanto en IA como en entornos de computación de alto rendimiento.

La AMD Instinct MI300X ofrecen un 40% más de unidades de cómputos que la generación previa basada en CDNA 3, con hasta 192 GB de memoria HBM3 (1,5 veces más que su precedesora), y un ancho de banda teórico de 1,7 veces más alto con 5,3 TB/s de pico. Los sistemas con ocho de estas tarjetas disponen de 1,5 TB de HBM3.

AMD promete un rendimiento 1,6 veces superior a las NVIDIA H100 HGX en tareas de inferencia de modelos de lenguaje IA LLM como BLOOM 176B, siendo la única opción del mercado capaz de utilizar modelos de 70.000 millones de parámetros en LLAMA2.

La AMD Instinct MI300A es una APU con núcleos Zen 4 y GPU CDNA 3 en un único chip

Por otro lado, la AMD Instinct MI300A es una APU que combina los núcleos de GPU CDNA 3 con núcleos AMD Zen 4 junto a 128 GB de memoria HBM3, con un rendimiento de casi dos veces el que conseguía la Instinct MI250X.

Al integrar CPU y GPU en un mismo chip, AMD presume de una mayor eficiencia energética que le permitirá evolucionar hacia su objetivo de conseguir una eficiencia 30 veces superior en 2025 a la que conseguían en 2020.

Las AMD MI300X están ya disponibles en los nuevos servidores virtuales Microsoft Azure ND MI300X v%, además de en el supercomputador El Capitan, cuya construcción dio comienzo este verano y donde esperan conseguir potencias de más de dos exaflops cuando esté completo al 100%.

Dell también incluye estas tarjetas en sus Dell PowerEdge XE9680 con nada más y nada menos que 8 GPUS Instinc MI300X, mientras que HP Enterprise será el primer superordenador en formato blade que contará con las APUs AMD Instinct MI300A a principios del 2024.

Todo ello funcionará con la nueva plataforma de software libre AMD ROCm 6, lanzada junto a estas soluciones de hardware para conseguir rendimientos 8 veces superiores en LLAMA 2 con estos servidores.

Fin del Artículo. ¡Cuéntanos algo en los Comentarios!