Apple quiere almacenar modelos de inteligencia artificial en memoria flash dedicada

Apple ha estado experimentando con modelos de lenguaje grande (LLM) que impulsan la mayoría de las aplicaciones de inteligencia artificial actuales. La empresa quiere que estos LLM sirvan mejor a los usuarios y funcionen de manera eficiente, lo cual es una tarea difícil ya que requieren muchos recursos, ya no sólo de cómputo, sino también de memoria.

Sin embargo, Apple ha publicado un artículo que tiene como objetivo llevar los LLM a dispositivos con capacidad de memoria limitada, utilizando memoria flash NAND para almacenar los modelos y realizar su inferencia desde ahí, pudiendo dejar en un segundo plano la memoria RAM disponible en el sistema.

En lugar de almacenar los pesos del modelo en DRAM, Apple quiere utilizar la memoria flash para almacenar pesos y solo transferirlos a la DRAM cuando sea necesario, algo que permitiría contar con mucha menos memoria RAM de lo necesario para poder ejecutar un LLM, a la misma vez que se pueden utilizar modelos mucho más potentes en dispositivos limitados, como serían smartphones.

En este enlace podemos acceder al articulo publicado por Apple, pues realmente se trata de una investigación interesante que permitiría acelerar la inferencia en hasta 25 veces en el caso de las cargas de GPU, y en hasta 5 veces en las cargas de CPU.

Fin del Artículo. ¡Cuéntanos algo en los Comentarios!