NVIDIA presenta su GPU Ampere A100 con un rendimiento de hasta 2496 TOPS en inferencia IA

NVIDIA ha presentado hoy, tras verse ayer en un teaser lo que Jensen Huang mencionaba como “la tarjeta gráfica más grande del mundo”, y si bien no se trata del concepto tradicional que tenemos de tarjeta gráfica, definitivamente se trata de una placa con 8 GPUs Ampere A100 y 22kg que forma el corazón del NVIDIA DGX A100.

Por si sola, cada GPU NVIDIA A100 completa, fabricada a 7nm, cuenta con 40GB de memoria HBM2 con un ancho de banda de 1.55TB/s y un 70% más de transistores que una GPU Volta V100, además de contar con nuevos Tensor Cores TF32 que permiten acelerar los procesos de aprendizaje profundo en varios enteros.

Del mismo modo, un nuevo sistema de aceleración en los Tensor Cores donde, al trabajar con una matriz de datos dispersa, se puede doblar la velocidad de proceso de dichas matrices, permitiendo cifras con las que actualmente no podríamos trabajar sin aunar las fuerzas de varios racks.

Esta técnica nos permite doblar las cifras de las que es capaz la GPU, de forma que, si bien en tareas sin matrices dispersas podemos obtener hasta 1248TOPS en INT4 y 156 TFLOPS en FP32, estas cifras pueden doblarse hasta los 2496 TOPS y 312TFLOPS respectivamente si contamos con una matriz dispersa.

Otra de las novedades que encontramos en la arquitectura Ampere se denomina Multi-instance GPU o MIG en corto, que permite dividir una GPU Ampere en 7 GPUs separadas o cualquier configuración intermedia, de forma que por ejemplo en el entorno de la nube, se puede alquilar una GPU más pequeña de lo que realmente tenemos.

En este caso, teniendo en cuenta que la GPU NVIDIA A100 cuenta con un rendimiento 7 veces superior al de la Tesla V100, podría decirse que la división más pequeña de una NVIDIA A100 equivale a una NVIDIA Tesla V100 completa en tareas de inferencia.

La conectividad pasa por PCI Express Gen4 con un ancho de banda de 64GB/s y un sistema de interconexión NVLink 3.0 con un ancho de banda de 600GB/s, de forma que en el NVIDIA DGX A100, al encontrarnos con 8 de estas GPUs, podremos disfrutar de dos procesadores AMD EPYC de 64 núcleos con 1TB de memoria RAM para aprovechar el ancho de banda añadido de PCI Express 4.0, así como de 6 NVSwitches con un ancho de banda total de 4.8TB/s de ancho de banda bidireccional.

Si queréis conocer todos los detalles sobre esta nueva arquitectura, no os podéis perder nuestro editorial sobre NVIDIA Ampere.

Fin del Artículo. ¡Cuéntanos algo en los Comentarios!