OmniHuman-1.5: 인지 시뮬레이션을 통해 아바타에 적극적인 사고 능력 부여

초록

기존의 비디오 아바타 모델은 유연한 인간 애니메이션을 생성할 수 있지만, 단순한 외형적 유사성을 넘어 캐릭터의 진정한 본질을 포착하는 데는 어려움을 겪습니다. 이들의 동작은 일반적으로 오디오 리듬과 같은 저수준의 신호와 동기화되어 있으며, 감정, 의도 또는 맥락에 대한 더 깊은 의미론적 이해가 부족합니다. 이러한 격차를 해소하기 위해, 우리는 물리적으로 타당할 뿐만 아니라 의미론적으로 일관되고 표현력 있는 캐릭터 애니메이션을 생성하도록 설계된 프레임워크를 제안합니다. 우리의 모델인 OmniHuman-1.5는 두 가지 핵심 기술적 기여를 기반으로 구축되었습니다. 첫째, 우리는 다중모달 대형 언어 모델(Multimodal Large Language Models)을 활용하여 고수준의 의미론적 지침을 제공하는 구조화된 텍스트 표현을 합성합니다. 이 지침은 단순한 리듬 동기화를 넘어 우리의 모션 생성기를 이끌어, 맥락적이고 감정적으로 공감되는 동작을 생성할 수 있게 합니다. 둘째, 이러한 다중모달 입력의 효과적인 융합을 보장하고 모달 간 충돌을 완화하기 위해, 새로운 Pseudo Last Frame 설계를 갖춘 전문화된 다중모달 DiT 아키텍처를 도입합니다. 이러한 구성 요소들의 시너지는 우리의 모델이 오디오, 이미지 및 텍스트의 공동 의미론을 정확하게 해석할 수 있게 하여, 캐릭터, 장면 및 언어적 내용과 깊이 일관된 모션을 생성합니다. 광범위한 실험을 통해 우리의 모델이 립싱크 정확도, 비디오 품질, 모션 자연스러움 및 텍스트 프롬프트와의 의미론적 일관성을 포함한 포괄적인 메트릭에서 선도적인 성능을 달성함을 입증했습니다. 또한, 우리의 접근 방식은 다인물 및 비인간 주체를 포함한 복잡한 시나리오에서도 놀라운 확장성을 보여줍니다. 홈페이지: https://omnihuman-lab.github.io/v1_5/

English

Existing video avatar models can produce fluid human animations, yet they struggle to move beyond mere physical likeness to capture a character's authentic essence. Their motions typically synchronize with low-level cues like audio rhythm, lacking a deeper semantic understanding of emotion, intent, or context. To bridge this gap, we propose a framework designed to generate character animations that are not only physically plausible but also semantically coherent and expressive. Our model, OmniHuman-1.5, is built upon two key technical contributions. First, we leverage Multimodal Large Language Models to synthesize a structured textual representation of conditions that provides high-level semantic guidance. This guidance steers our motion generator beyond simplistic rhythmic synchronization, enabling the production of actions that are contextually and emotionally resonant. Second, to ensure the effective fusion of these multimodal inputs and mitigate inter-modality conflicts, we introduce a specialized Multimodal DiT architecture with a novel Pseudo Last Frame design. The synergy of these components allows our model to accurately interpret the joint semantics of audio, images, and text, thereby generating motions that are deeply coherent with the character, scene, and linguistic content. Extensive experiments demonstrate that our model achieves leading performance across a comprehensive set of metrics, including lip-sync accuracy, video quality, motion naturalness and semantic consistency with textual prompts. Furthermore, our approach shows remarkable extensibility to complex scenarios, such as those involving multi-person and non-human subjects. Homepage: https://omnihuman-lab.github.io/v1_5/

OmniHuman-1.5: 인지 시뮬레이션을 통해 아바타에 적극적인 사고 능력 부여

OmniHuman-1.5: Instilling an Active Mind in Avatars via Cognitive Simulation

초록

Support