El "DLSS" de ARM para móviles será abierto: así funcionan sus tecnologías NSS, NFRU y NSSD

Como ya vimos en el artículo de arquitectura sobre la nueva GPU Mali G2-Ultra NX, ARM ha decidido implementar en sus GPUs un sistema de aceleradores neuronales NX de IA para poder utilizar tecnologías de reescalado, generación de fotogramas y reconstrucción de rayos para smartphones.

Junto con los dos motores SME2 de la parte de CPU de CSS For Mobile 2, conforman el hardware dedicado a la IA de su nueva plataforma.

A grandes rasgos, estos nuevos aceleradores, permitirán el uso de estas tecnologías sin penalizar el rendimiento de los shaders de la GPU. La compañía ofrecerá de manera abierta en plataformas como GitHub o Hugging Face tecnologías similares a lo que ya tenemos en PC con DLSS, FSR o XeSS, pero adaptadas a las limitaciones de energía y potencia de los smartphones. Se trata de las tecnologías NSS, NFRU y NSSD.

NSS (Neural Super Sampling)

NSS es la tecnología de reescalado temporal. Se basa en una imagen a baja resolución renderizada por la GPU junto con los vectores de movimiento y mapas de profundidad, y una red neuronal con IA se encarga de reconstruirla a mayor resolución sin tener que filtrarla posteriormente con antialiasing. 

ARM ha mostrado pruebas escalando de 540p a 1080p donde consiguen duplicar los FPS manteniendo un consumo de unos 2,5 W y reduciendo el tráfico hacia la memoria a la mitad.

Esta tecnología es capaz de escalar 7 de cada 8 píxeles de una imagen partiendo de 1 píxel renderizado previamente.

NFRU (Neural Frame Rate Upscaling)

Junto a NSS, también llega NFRU, el sistema de ARM de generación de fotogramas; utiliza el motor de movimiento integrado en las nuevas GPU para detectar los movimientos entre fotogramas anteriores y posteriores. Con esa información, la red neuronal de NFRY genera un fotograma intermedio donde la GPU no ha tenido que renderizar nada. Según ARM, esto permite pasar de 60 a 120 FPS estables y reduce en un 33% las transferencias a la RAM.

NSSD (Neural Super Sampling and Denoising)

NSSD combina el reescalado temporal NSS  con un sistema de reconstrucción de rayos/reducción de ruido, una tecnología especialmente práctica en smartphones donde la potencia y recursos de la GPU son limitados. 

De esta manera, con NSSD se puede partir de imágenes con raytracing calculadas con pocos rayos de luz y a baja resolución para, posteriormente, reescalar y reconstruir la iluminación y filtrar el ruido generado inicialmente mediante IA.

ARM ha mostrado demos como Neural Dawn donde, gracias a la combinación de estas técnicas de IA,  es capaz de mover escenas con más de 1.400 fuentes de luz a tiempo real, renderizando a 540p y reescalando, todo ello con 60 FPS estables y un consumo de tan solo 2 W.

Esto supone multiplicar por cuatro los FPS y la eficiencia desde el modo nativo hasta el modo con NFRU.

Fin del Artículo. ¡Cuéntanos algo en los Comentarios!