OmniHuman-1.5: Внедрение активного мышления в аватары через когнитивное моделирование

Аннотация

Существующие модели видеоаватаров способны создавать плавные человеческие анимации, однако они сталкиваются с трудностями в выходя за пределы простого физического сходства, чтобы передать подлинную сущность персонажа. Их движения обычно синхронизируются с низкоуровневыми сигналами, такими как ритм аудио, не обладая более глубоким семантическим пониманием эмоций, намерений или контекста. Чтобы преодолеть этот разрыв, мы предлагаем фреймворк, предназначенный для генерации анимаций персонажей, которые не только физически правдоподобны, но также семантически согласованы и выразительны. Наша модель, OmniHuman-1.5, основана на двух ключевых технических достижениях. Во-первых, мы используем Мультимодальные Большие Языковые Модели для синтеза структурированного текстового представления условий, которое обеспечивает высокоуровневое семантическое руководство. Это руководство направляет наш генератор движений за пределы простой ритмической синхронизации, позволяя создавать действия, которые контекстуально и эмоционально резонируют. Во-вторых, чтобы обеспечить эффективное слияние этих мультимодальных входных данных и смягчить конфликты между модальностями, мы представляем специализированную архитектуру Multimodal DiT с новой конструкцией Pseudo Last Frame. Синергия этих компонентов позволяет нашей модели точно интерпретировать совместную семантику аудио, изображений и текста, тем самым генерируя движения, которые глубоко согласованы с персонажем, сценой и лингвистическим содержанием. Многочисленные эксперименты демонстрируют, что наша модель достигает лидирующих показателей по широкому набору метрик, включая точность синхронизации губ, качество видео, естественность движений и семантическую согласованность с текстовыми подсказками. Более того, наш подход демонстрирует замечательную расширяемость для сложных сценариев, таких как те, которые включают несколько человек и нечеловеческих субъектов. Домашняя страница: https://omnihuman-lab.github.io/v1_5/

English

Existing video avatar models can produce fluid human animations, yet they struggle to move beyond mere physical likeness to capture a character's authentic essence. Their motions typically synchronize with low-level cues like audio rhythm, lacking a deeper semantic understanding of emotion, intent, or context. To bridge this gap, we propose a framework designed to generate character animations that are not only physically plausible but also semantically coherent and expressive. Our model, OmniHuman-1.5, is built upon two key technical contributions. First, we leverage Multimodal Large Language Models to synthesize a structured textual representation of conditions that provides high-level semantic guidance. This guidance steers our motion generator beyond simplistic rhythmic synchronization, enabling the production of actions that are contextually and emotionally resonant. Second, to ensure the effective fusion of these multimodal inputs and mitigate inter-modality conflicts, we introduce a specialized Multimodal DiT architecture with a novel Pseudo Last Frame design. The synergy of these components allows our model to accurately interpret the joint semantics of audio, images, and text, thereby generating motions that are deeply coherent with the character, scene, and linguistic content. Extensive experiments demonstrate that our model achieves leading performance across a comprehensive set of metrics, including lip-sync accuracy, video quality, motion naturalness and semantic consistency with textual prompts. Furthermore, our approach shows remarkable extensibility to complex scenarios, such as those involving multi-person and non-human subjects. Homepage: https://omnihuman-lab.github.io/v1_5/

OmniHuman-1.5: Внедрение активного мышления в аватары через когнитивное моделирование

OmniHuman-1.5: Instilling an Active Mind in Avatars via Cognitive Simulation

Аннотация

Support