OmniHuman-1.5: Het inbrengen van een actieve geest in avatars via cognitieve simulatie

Samenvatting

Bestaande video-avatarmodellen kunnen vloeiende menselijke animaties produceren, maar hebben moeite om verder te gaan dan louter fysieke gelijkenis en de authentieke essentie van een personage vast te leggen. Hun bewegingen synchroniseren doorgaans met laagniveau-signalen zoals audiorytme, zonder een dieper semantisch begrip van emotie, intentie of context. Om deze kloof te overbruggen, stellen we een raamwerk voor dat is ontworpen om karakteranimaties te genereren die niet alleen fysiek plausibel zijn, maar ook semantisch coherent en expressief. Ons model, OmniHuman-1.5, is gebaseerd op twee belangrijke technische bijdragen. Ten eerste maken we gebruik van Multimodale Large Language Models om een gestructureerde tekstuele representatie van condities te synthetiseren die hoogwaardige semantische begeleiding biedt. Deze begeleiding stuurt onze bewegingsgenerator verder dan eenvoudige ritmische synchronisatie, waardoor het mogelijk wordt om acties te produceren die contextueel en emotioneel resonerend zijn. Ten tweede introduceren we, om de effectieve fusie van deze multimodale inputs te waarborgen en intermodaliteitsconflicten te verminderen, een gespecialiseerde Multimodale DiT-architectuur met een nieuw Pseudo Last Frame-ontwerp. De synergie van deze componenten stelt ons model in staat om de gezamenlijke semantiek van audio, afbeeldingen en tekst nauwkeurig te interpreteren, waardoor bewegingen worden gegenereerd die diepgaand coherent zijn met het personage, de scène en de linguïstische inhoud. Uitgebreide experimenten tonen aan dat ons model toonaangevende prestaties behaalt op een uitgebreide set van metrieken, waaronder lip-sync-nauwkeurigheid, videokwaliteit, bewegingsnatuurlijkheid en semantische consistentie met tekstuele prompts. Bovendien toont onze aanpak opmerkelijke uitbreidbaarheid naar complexe scenario's, zoals die met meerdere personen en niet-menselijke onderwerpen. Homepage: https://omnihuman-lab.github.io/v1_5/

English

Existing video avatar models can produce fluid human animations, yet they struggle to move beyond mere physical likeness to capture a character's authentic essence. Their motions typically synchronize with low-level cues like audio rhythm, lacking a deeper semantic understanding of emotion, intent, or context. To bridge this gap, we propose a framework designed to generate character animations that are not only physically plausible but also semantically coherent and expressive. Our model, OmniHuman-1.5, is built upon two key technical contributions. First, we leverage Multimodal Large Language Models to synthesize a structured textual representation of conditions that provides high-level semantic guidance. This guidance steers our motion generator beyond simplistic rhythmic synchronization, enabling the production of actions that are contextually and emotionally resonant. Second, to ensure the effective fusion of these multimodal inputs and mitigate inter-modality conflicts, we introduce a specialized Multimodal DiT architecture with a novel Pseudo Last Frame design. The synergy of these components allows our model to accurately interpret the joint semantics of audio, images, and text, thereby generating motions that are deeply coherent with the character, scene, and linguistic content. Extensive experiments demonstrate that our model achieves leading performance across a comprehensive set of metrics, including lip-sync accuracy, video quality, motion naturalness and semantic consistency with textual prompts. Furthermore, our approach shows remarkable extensibility to complex scenarios, such as those involving multi-person and non-human subjects. Homepage: https://omnihuman-lab.github.io/v1_5/

OmniHuman-1.5: Het inbrengen van een actieve geest in avatars via cognitieve simulatie

OmniHuman-1.5: Instilling an Active Mind in Avatars via Cognitive Simulation

Samenvatting

Support