OmniHuman-1.5 : Instiller un esprit actif dans les avatars via une simulation cognitive

papers.abstract

Les modèles existants d'avatars vidéo peuvent produire des animations humaines fluides, mais ils peinent à dépasser la simple ressemblance physique pour capturer l'essence authentique d'un personnage. Leurs mouvements sont généralement synchronisés avec des indices de bas niveau comme le rythme audio, manquant d'une compréhension sémantique plus profonde des émotions, des intentions ou du contexte. Pour combler cette lacune, nous proposons un cadre conçu pour générer des animations de personnages qui sont non seulement physiquement plausibles, mais aussi sémantiquement cohérentes et expressives. Notre modèle, OmniHuman-1.5, repose sur deux contributions techniques clés. Premièrement, nous exploitons des Modèles de Langage Multimodaux de Grande Taille pour synthétiser une représentation textuelle structurée des conditions qui fournit un guidage sémantique de haut niveau. Ce guidage oriente notre générateur de mouvements au-delà d'une simple synchronisation rythmique, permettant la production d'actions qui résonnent contextuellement et émotionnellement. Deuxièmement, pour assurer la fusion efficace de ces entrées multimodales et atténuer les conflits inter-modaux, nous introduisons une architecture DiT Multimodale spécialisée avec une conception innovante de Pseudo Dernière Image. La synergie de ces composants permet à notre modèle d'interpréter avec précision la sémantique conjointe de l'audio, des images et du texte, générant ainsi des mouvements profondément cohérents avec le personnage, la scène et le contenu linguistique. Des expériences approfondies démontrent que notre modèle atteint des performances de pointe sur un ensemble complet de métriques, incluant la précision de la synchronisation labiale, la qualité vidéo, le naturel des mouvements et la cohérence sémantique avec les invites textuelles. De plus, notre approche montre une extensibilité remarquable à des scénarios complexes, tels que ceux impliquant plusieurs personnes et des sujets non humains. Page d'accueil : https://omnihuman-lab.github.io/v1_5/

English

Existing video avatar models can produce fluid human animations, yet they struggle to move beyond mere physical likeness to capture a character's authentic essence. Their motions typically synchronize with low-level cues like audio rhythm, lacking a deeper semantic understanding of emotion, intent, or context. To bridge this gap, we propose a framework designed to generate character animations that are not only physically plausible but also semantically coherent and expressive. Our model, OmniHuman-1.5, is built upon two key technical contributions. First, we leverage Multimodal Large Language Models to synthesize a structured textual representation of conditions that provides high-level semantic guidance. This guidance steers our motion generator beyond simplistic rhythmic synchronization, enabling the production of actions that are contextually and emotionally resonant. Second, to ensure the effective fusion of these multimodal inputs and mitigate inter-modality conflicts, we introduce a specialized Multimodal DiT architecture with a novel Pseudo Last Frame design. The synergy of these components allows our model to accurately interpret the joint semantics of audio, images, and text, thereby generating motions that are deeply coherent with the character, scene, and linguistic content. Extensive experiments demonstrate that our model achieves leading performance across a comprehensive set of metrics, including lip-sync accuracy, video quality, motion naturalness and semantic consistency with textual prompts. Furthermore, our approach shows remarkable extensibility to complex scenarios, such as those involving multi-person and non-human subjects. Homepage: https://omnihuman-lab.github.io/v1_5/

OmniHuman-1.5 : Instiller un esprit actif dans les avatars via une simulation cognitive

OmniHuman-1.5: Instilling an Active Mind in Avatars via Cognitive Simulation

papers.abstract

Support