OmniHuman-1.5: 認知シミュレーションによるアバターへの能動的マインドの付与

要旨

既存のビデオアバターモデルは滑らかな人間のアニメーションを生成できるものの、単なる外見の類似を超えてキャラクターの本質を捉えることは困難です。これらのモデルの動きは通常、音声のリズムのような低レベルの手がかりに同期しており、感情、意図、または文脈に対する深い意味理解を欠いています。このギャップを埋めるため、私たちは物理的に妥当であるだけでなく、意味的にも一貫性があり表現力豊かなキャラクターアニメーションを生成するためのフレームワークを提案します。私たちのモデル、OmniHuman-1.5は、2つの重要な技術的貢献に基づいています。まず、マルチモーダル大規模言語モデルを活用して、高レベルの意味的ガイダンスを提供する構造化されたテキスト表現を合成します。このガイダンスにより、単純なリズム同期を超えて、文脈的および感情的に共鳴するアクションを生成することが可能になります。次に、これらのマルチモーダル入力を効果的に融合し、モダリティ間の衝突を緩和するために、新しいPseudo Last Frame設計を備えた専用のマルチモーダルDiTアーキテクチャを導入します。これらのコンポーネントの相乗効果により、私たちのモデルは音声、画像、テキストの共同意味を正確に解釈し、キャラクター、シーン、言語内容と深く一貫した動きを生成することができます。広範な実験により、私たちのモデルがリップシンクの精度、ビデオ品質、動きの自然さ、テキストプロンプトとの意味的一貫性を含む包括的なメトリクスセットにおいて、リーディングパフォーマンスを達成することが示されています。さらに、私たちのアプローチは、複数人や非人間の被写体を含む複雑なシナリオに対する顕著な拡張性を示しています。ホームページ: https://omnihuman-lab.github.io/v1_5/

English

Existing video avatar models can produce fluid human animations, yet they struggle to move beyond mere physical likeness to capture a character's authentic essence. Their motions typically synchronize with low-level cues like audio rhythm, lacking a deeper semantic understanding of emotion, intent, or context. To bridge this gap, we propose a framework designed to generate character animations that are not only physically plausible but also semantically coherent and expressive. Our model, OmniHuman-1.5, is built upon two key technical contributions. First, we leverage Multimodal Large Language Models to synthesize a structured textual representation of conditions that provides high-level semantic guidance. This guidance steers our motion generator beyond simplistic rhythmic synchronization, enabling the production of actions that are contextually and emotionally resonant. Second, to ensure the effective fusion of these multimodal inputs and mitigate inter-modality conflicts, we introduce a specialized Multimodal DiT architecture with a novel Pseudo Last Frame design. The synergy of these components allows our model to accurately interpret the joint semantics of audio, images, and text, thereby generating motions that are deeply coherent with the character, scene, and linguistic content. Extensive experiments demonstrate that our model achieves leading performance across a comprehensive set of metrics, including lip-sync accuracy, video quality, motion naturalness and semantic consistency with textual prompts. Furthermore, our approach shows remarkable extensibility to complex scenarios, such as those involving multi-person and non-human subjects. Homepage: https://omnihuman-lab.github.io/v1_5/

OmniHuman-1.5: 認知シミュレーションによるアバターへの能動的マインドの付与

OmniHuman-1.5: Instilling an Active Mind in Avatars via Cognitive Simulation

要旨

Support