NVIDIA anunció que su innovadora tecnología Audio2Face ya está disponible como open source, junto con su SDK y modelos de entrenamiento. Esto permitirá a desarrolladores de videojuegos y aplicaciones 3D crear y desplegar personajes digitales de alta fidelidad, con animaciones faciales y lip-sync de vanguardia impulsados por IA generativa.
La compañía también liberará el Audio2Face Training Framework, una herramienta que facilita ajustar y personalizar modelos preexistentes con datos propios, ampliando así las posibilidades de uso para distintos estudios y proyectos.
Animación facial realista en tiempo real
Audio2Face acelera la creación de personajes digitales gracias a la sincronización labial precisa y expresiones emocionales naturales. La tecnología analiza características acústicas —como fonemas y entonación— a partir de un archivo de audio, y genera datos de animación que pueden renderizarse tanto en contenido pregrabado como en transmisiones en tiempo real.
Su aplicación ya se encuentra extendida en sectores como videojuegos, medios, entretenimiento e incluso atención al cliente, con adopción por parte de estudios como Codemasters, GSC Game World, NetEase y Perfect World Games, además de ISVs como Convai, Inworld AI, Reallusion, Streamlabs y UneeQ.
Herramientas open source disponibles
El lanzamiento incluye un paquete completo de utilidades para acelerar la adopción:
- Audio2Face SDK: bibliotecas y documentación para animaciones en dispositivos o en la nube.
- Plugins: soporte oficial para Autodesk Maya (v2.0) y Unreal Engine 5 (v2.5), compatibles con versiones recientes.
- Training Framework: entorno de entrenamiento (v1.0) con datos de ejemplo para crear modelos propios.
- Modelos de Audio2Face: versiones de regresión (v2.2) y difusión (v3.0) para lip-sync.
- Audio2Emotion Models: algoritmos capaces de inferir estados emocionales a partir de audio, en versiones estables y experimentales.
Una apuesta fuerte por el ecosistema de desarrollo
Con esta apertura, NVIDIA refuerza su estrategia de impulsar su ecosistema de IA generativa aplicada a los videojuegos mediante la iniciativa ACE for Games, acercando a más desarrolladores herramientas para dotar de mayor realismo a los personajes.
Este movimiento marca un paso importante en la democratización de las tecnologías de animación facial de última generación, antes reservadas a grandes estudios, y abre la puerta a experiencias más inmersivas y personalizadas en los mundos virtuales.
