Los Snapdragon 8 Elite Extreme Gen 6 pueden hacer funcionar modelos de 30.000 Millones de parámetros, pero tiene truco

Qualcomm ha anunciado hoy su nuevo buque insignia, el Snapdragon 8 Elite Extreme Gen 6, sobre el que te contamos todo al detalle aquí. Este nuevo SoC es tan potente que, según Qualcomm, puede ejecutar localmente modelos de inteligencia artificial de 30.000 millones de parámetros. Esto es considerable; de hecho, hoy en día tenemos modelos de unos 30.000 millones de parámetros como el Gemma 4 o el Qwen 3.6 que con este volumen alcanzan un 80% de la precisión que logran los grandes modelos en la nube con billones de parámetros.

Esto dicho así suena espectacular, sin embargo, tiene truco. La clave está en la arquitectura de modelos MoE. Estos modelos dividen determinadas capas especializadas y utilizan un mecanismo de selección para decidir cuáles intervienen al procesar cada token. De esta forma no tienes que cargar y activar el modelo completo, tan solo una parte del mismo, haciendo que sea mucho más rápido y eficiente.

Un MoE de 30.000 millones de parámetros puede activar alrededor de 3.000 millones de parámetros enrutados por token. Esto reduce el cálculo respecto a utilizar toda la red en cada paso, pero no elimina la necesidad de almacenar sus parámetros ni garantiza una aceleración proporcional. 

Durante el evento lo hemos podido ver en funcionamiento, alcanzando 30 Tokens por segundo.

Este artículo ha sido posible gracias a que periodistas de GEEKNETIC han acudido en persona a un evento de presentación organizado por Qualcomm, que asumió los gastos de viaje. Más allá de proporcionar información, conferencias y entrevistas con sus portavoces, Qualcomm no ha formado parte de la elaboración del artículo y el contenido ha sido redactado, editado y publicado de forma imparcial e independiente.

Fin del Artículo. ¡Cuéntanos algo en los Comentarios!