OmniHuman-1.5: Instilando uma Mente Ativa em Avatares por meio de Simulação Cognitiva

Resumo

Os modelos existentes de avatares em vídeo podem produzir animações humanas fluidas, mas enfrentam dificuldades para ir além da mera semelhança física e capturar a essência autêntica de um personagem. Seus movimentos geralmente sincronizam-se com pistas de baixo nível, como o ritmo do áudio, carecendo de uma compreensão semântica mais profunda de emoção, intenção ou contexto. Para preencher essa lacuna, propomos um framework projetado para gerar animações de personagens que não apenas são fisicamente plausíveis, mas também semanticamente coerentes e expressivas. Nosso modelo, OmniHuman-1.5, é construído sobre duas contribuições técnicas principais. Primeiro, utilizamos Modelos de Linguagem Multimodais de Grande Escala para sintetizar uma representação textual estruturada de condições que fornece orientação semântica de alto nível. Essa orientação direciona nosso gerador de movimentos além da sincronização rítmica simplista, permitindo a produção de ações que ressoam contextual e emocionalmente. Segundo, para garantir a fusão eficaz dessas entradas multimodais e mitigar conflitos intermodais, introduzimos uma arquitetura Multimodal DiT especializada com um novo design de Pseudo Último Quadro. A sinergia desses componentes permite que nosso modelo interprete com precisão a semântica conjunta de áudio, imagens e texto, gerando assim movimentos profundamente coerentes com o personagem, a cena e o conteúdo linguístico. Experimentos extensivos demonstram que nosso modelo alcança desempenho líder em um conjunto abrangente de métricas, incluindo precisão de sincronização labial, qualidade de vídeo, naturalidade do movimento e consistência semântica com prompts textuais. Além disso, nossa abordagem mostra uma extensibilidade notável para cenários complexos, como aqueles envolvendo múltiplas pessoas e sujeitos não humanos. Página inicial: https://omnihuman-lab.github.io/v1_5/

English

Existing video avatar models can produce fluid human animations, yet they struggle to move beyond mere physical likeness to capture a character's authentic essence. Their motions typically synchronize with low-level cues like audio rhythm, lacking a deeper semantic understanding of emotion, intent, or context. To bridge this gap, we propose a framework designed to generate character animations that are not only physically plausible but also semantically coherent and expressive. Our model, OmniHuman-1.5, is built upon two key technical contributions. First, we leverage Multimodal Large Language Models to synthesize a structured textual representation of conditions that provides high-level semantic guidance. This guidance steers our motion generator beyond simplistic rhythmic synchronization, enabling the production of actions that are contextually and emotionally resonant. Second, to ensure the effective fusion of these multimodal inputs and mitigate inter-modality conflicts, we introduce a specialized Multimodal DiT architecture with a novel Pseudo Last Frame design. The synergy of these components allows our model to accurately interpret the joint semantics of audio, images, and text, thereby generating motions that are deeply coherent with the character, scene, and linguistic content. Extensive experiments demonstrate that our model achieves leading performance across a comprehensive set of metrics, including lip-sync accuracy, video quality, motion naturalness and semantic consistency with textual prompts. Furthermore, our approach shows remarkable extensibility to complex scenarios, such as those involving multi-person and non-human subjects. Homepage: https://omnihuman-lab.github.io/v1_5/

OmniHuman-1.5: Instilando uma Mente Ativa em Avatares por meio de Simulação Cognitiva

OmniHuman-1.5: Instilling an Active Mind in Avatars via Cognitive Simulation

Resumo

Support