OmniHuman-1.5: Infundiendo una mente activa en avatares mediante simulación cognitiva

Resumen

Los modelos existentes de avatares de video pueden producir animaciones humanas fluidas, pero tienen dificultades para ir más allá de la mera similitud física y capturar la esencia auténtica de un personaje. Sus movimientos suelen sincronizarse con señales de bajo nivel, como el ritmo del audio, careciendo de una comprensión semántica más profunda de la emoción, la intención o el contexto. Para cerrar esta brecha, proponemos un marco diseñado para generar animaciones de personajes que no solo sean físicamente plausibles, sino también semánticamente coherentes y expresivas. Nuestro modelo, OmniHuman-1.5, se basa en dos contribuciones técnicas clave. En primer lugar, aprovechamos los Modelos de Lenguaje Multimodales de Gran Escala para sintetizar una representación textual estructurada de condiciones que proporciona una guía semántica de alto nivel. Esta guía dirige nuestro generador de movimientos más allá de la sincronización rítmica simplista, permitiendo la producción de acciones que resuenan contextual y emocionalmente. En segundo lugar, para garantizar la fusión efectiva de estas entradas multimodales y mitigar los conflictos intermodales, introducimos una arquitectura especializada Multimodal DiT con un novedoso diseño de Pseudo Último Fotograma. La sinergia de estos componentes permite que nuestro modelo interprete con precisión la semántica conjunta del audio, las imágenes y el texto, generando así movimientos profundamente coherentes con el personaje, la escena y el contenido lingüístico. Experimentos exhaustivos demuestran que nuestro modelo logra un rendimiento líder en un conjunto completo de métricas, incluyendo la precisión de sincronización labial, la calidad del video, la naturalidad del movimiento y la coherencia semántica con las indicaciones textuales. Además, nuestro enfoque muestra una notable extensibilidad a escenarios complejos, como aquellos que involucran múltiples personas y sujetos no humanos. Página de inicio: https://omnihuman-lab.github.io/v1_5/

English

Existing video avatar models can produce fluid human animations, yet they struggle to move beyond mere physical likeness to capture a character's authentic essence. Their motions typically synchronize with low-level cues like audio rhythm, lacking a deeper semantic understanding of emotion, intent, or context. To bridge this gap, we propose a framework designed to generate character animations that are not only physically plausible but also semantically coherent and expressive. Our model, OmniHuman-1.5, is built upon two key technical contributions. First, we leverage Multimodal Large Language Models to synthesize a structured textual representation of conditions that provides high-level semantic guidance. This guidance steers our motion generator beyond simplistic rhythmic synchronization, enabling the production of actions that are contextually and emotionally resonant. Second, to ensure the effective fusion of these multimodal inputs and mitigate inter-modality conflicts, we introduce a specialized Multimodal DiT architecture with a novel Pseudo Last Frame design. The synergy of these components allows our model to accurately interpret the joint semantics of audio, images, and text, thereby generating motions that are deeply coherent with the character, scene, and linguistic content. Extensive experiments demonstrate that our model achieves leading performance across a comprehensive set of metrics, including lip-sync accuracy, video quality, motion naturalness and semantic consistency with textual prompts. Furthermore, our approach shows remarkable extensibility to complex scenarios, such as those involving multi-person and non-human subjects. Homepage: https://omnihuman-lab.github.io/v1_5/

OmniHuman-1.5: Infundiendo una mente activa en avatares mediante simulación cognitiva

OmniHuman-1.5: Instilling an Active Mind in Avatars via Cognitive Simulation

Resumen

Support