OmniHuman-1.5: Verankerung eines aktiven Geistes in Avataren durch kognitive Simulation

papers.abstract

Bestehende Video-Avatar-Modelle können flüssige menschliche Animationen erzeugen, haben jedoch Schwierigkeiten, über eine bloße physische Ähnlichkeit hinauszugehen und das authentische Wesen einer Figur einzufangen. Ihre Bewegungen sind typischerweise mit niedrigschwelligen Hinweisen wie dem Audio-Rhythmus synchronisiert, ohne ein tieferes semantisches Verständnis von Emotion, Absicht oder Kontext. Um diese Lücke zu schließen, schlagen wir ein Framework vor, das darauf abzielt, Charakteranimationen zu generieren, die nicht nur physisch plausibel, sondern auch semantisch kohärent und ausdrucksstark sind. Unser Modell, OmniHuman-1.5, basiert auf zwei wesentlichen technischen Beiträgen. Erstens nutzen wir Multimodale Große Sprachmodelle, um eine strukturierte textuelle Repräsentation von Bedingungen zu synthetisieren, die eine hochrangige semantische Führung bietet. Diese Führung lenkt unseren Bewegungsgenerator über eine einfache rhythmische Synchronisation hinaus und ermöglicht die Erzeugung von Handlungen, die kontextuell und emotional resonanzfähig sind. Zweitens führen wir, um die effektive Fusion dieser multimodalen Eingaben zu gewährleisten und Intermodalitätskonflikte zu mildern, eine spezialisierte Multimodale DiT-Architektur mit einem neuartigen Pseudo Last Frame-Design ein. Die Synergie dieser Komponenten ermöglicht es unserem Modell, die gemeinsame Semantik von Audio, Bildern und Text präzise zu interpretieren und dadurch Bewegungen zu erzeugen, die tiefgreifend mit der Figur, der Szene und dem linguistischen Inhalt kohärent sind. Umfangreiche Experimente zeigen, dass unser Modell führende Leistungen über eine umfassende Reihe von Metriken hinweg erzielt, einschließlich Lippen-Synchronisationsgenauigkeit, Videoqualität, Bewegungsnatürlichkeit und semantischer Konsistenz mit textuellen Eingabeaufforderungen. Darüber hinaus zeigt unser Ansatz eine bemerkenswerte Erweiterbarkeit auf komplexe Szenarien, wie solche mit mehreren Personen und nicht-menschlichen Subjekten. Homepage: https://omnihuman-lab.github.io/v1_5/

English

Existing video avatar models can produce fluid human animations, yet they struggle to move beyond mere physical likeness to capture a character's authentic essence. Their motions typically synchronize with low-level cues like audio rhythm, lacking a deeper semantic understanding of emotion, intent, or context. To bridge this gap, we propose a framework designed to generate character animations that are not only physically plausible but also semantically coherent and expressive. Our model, OmniHuman-1.5, is built upon two key technical contributions. First, we leverage Multimodal Large Language Models to synthesize a structured textual representation of conditions that provides high-level semantic guidance. This guidance steers our motion generator beyond simplistic rhythmic synchronization, enabling the production of actions that are contextually and emotionally resonant. Second, to ensure the effective fusion of these multimodal inputs and mitigate inter-modality conflicts, we introduce a specialized Multimodal DiT architecture with a novel Pseudo Last Frame design. The synergy of these components allows our model to accurately interpret the joint semantics of audio, images, and text, thereby generating motions that are deeply coherent with the character, scene, and linguistic content. Extensive experiments demonstrate that our model achieves leading performance across a comprehensive set of metrics, including lip-sync accuracy, video quality, motion naturalness and semantic consistency with textual prompts. Furthermore, our approach shows remarkable extensibility to complex scenarios, such as those involving multi-person and non-human subjects. Homepage: https://omnihuman-lab.github.io/v1_5/

OmniHuman-1.5: Verankerung eines aktiven Geistes in Avataren durch kognitive Simulation

OmniHuman-1.5: Instilling an Active Mind in Avatars via Cognitive Simulation

papers.abstract

Support