Audio2Face de NVIDIA RTX se hace Open Source, todos los desarrolladores ahora tienen acceso a esta tecnología

NVIDIA cuenta con múltiples tecnologías capaces de aprovechar el hardware dedicado para tareas de IA con el que cuentan sus tarjetas NVIDIA RTX. Entre ellas ha conseguido desarrollar la llamada Audio2Face, una tecnología que es capaz de convertir en expresiones faciales y movimiento de los labios, la entrada de audio. La buena noticia es que NVIDIA ha decidido liberar esta tecnología, que ahora está disponible como Open Source para que todos los desarrolladores puedan hacer uso de ella.

Audio2Face se hace Open Source

Audio2Face de NVIDIA forma parte de un gran paquete de tecnologías y software que hacen uso de la IA para mejorar juegos y animaciones en general. Con Audio2Face conseguirás que las conversaciones con otros personajes sean más reales, ya que es capaz de convertir el audio en gestos faciales y movimiento acorde con los labios y la boca. Una tecnología para la que ahora únicamente necesitarás disponer del hardware de NVIDIA, compatible con estas funciones dentro de su gama RTX.

Audio2Face sincroniza el audio con los movimientos de los labios y la boca

Los desarrolladores pueden hacer uso de este plugin directamente en los populares motores para juegos o renderizado en 3D como puede ser Unreal Engine 5, donde además podrás disponer de ejemplos de la propia NVIDIA para probar sus funciones. También tienes disponible el SDK de la propia NVIDIA para trabajar con él junto con el contenido que incluye este completo paquete. Los modelos disponibles también cuentan con Audio2Emotion, que aprende a interpretar incluso el tono de voz.

Audio2Emotion expresa emociones en base al todo de voz

Una tecnología que ya se ha empleado en juegos para dar más realismo a las escenas donde puedes interactuar con otros personajes, especialmente cuando se trata de un primer plano. Al abrirse con licencia Open Source, NVIDIA quiere que esta tecnología pueda ser usada y aprovechada por todos los desarrolladores de videojuegos, así como otros investigadores que puedan dar una utilidad práctica a Voice2Face.

Os dejamos con un vídeo demostrativo de como ha avanzado esta tecnología y de lo que es capaz.

Fin del Artículo. ¡Cuéntanos algo en los Comentarios!