X-Dyna: Экспрессивная динамическая анимация человеческого изображения

X-Dyna: Expressive Dynamic Human Image Animation

January 17, 2025

Авторы: Di Chang, Hongyi Xu, You Xie, Yipeng Gao, Zhengfei Kuang, Shengqu Cai, Chenxu Zhang, Guoxian Song, Chao Wang, Yichun Shi, Zeyuan Chen, Shijie Zhou, Linjie Luo, Gordon Wetzstein, Mohammad Soleymani

cs.AI

Аннотация

Мы представляем X-Dyna, новый конвейер на основе диффузии для анимации одного человеческого изображения с использованием мимики лица и движений тела, полученных из видео-драйва, который генерирует реалистичную, контекстно-ориентированную динамику как для объекта, так и для окружающей среды. Основываясь на предыдущих подходах, сфокусированных на управлении позами человека, X-Dyna решает основные недостатки, приводящие к потере динамических деталей, улучшая реалистичность видеоанимаций человека. В основе нашего подхода лежит Dynamics-Adapter, легкий модуль, который эффективно интегрирует контекст внешнего вида в пространственные внимания основы диффузии, сохраняя способность модулей движения к синтезу плавных и сложных динамических деталей. Помимо управления позой тела, мы соединяем локальный модуль управления с нашей моделью для захвата дизентанглированных по идентификации выражений лица, облегчая точный перенос выражений для улучшения реализма в анимированных сценах. Вместе эти компоненты формируют единый каркас, способный обучаться физическому движению человека и естественной динамике сцены из разнообразного набора видео человека и сцены. Комплексные качественные и количественные оценки демонстрируют, что X-Dyna превосходит современные методы, создавая высокореалистичные и выразительные анимации. Код доступен по ссылке https://github.com/bytedance/X-Dyna.

English

We introduce X-Dyna, a novel zero-shot, diffusion-based pipeline for animating a single human image using facial expressions and body movements derived from a driving video, that generates realistic, context-aware dynamics for both the subject and the surrounding environment. Building on prior approaches centered on human pose control, X-Dyna addresses key shortcomings causing the loss of dynamic details, enhancing the lifelike qualities of human video animations. At the core of our approach is the Dynamics-Adapter, a lightweight module that effectively integrates reference appearance context into the spatial attentions of the diffusion backbone while preserving the capacity of motion modules in synthesizing fluid and intricate dynamic details. Beyond body pose control, we connect a local control module with our model to capture identity-disentangled facial expressions, facilitating accurate expression transfer for enhanced realism in animated scenes. Together, these components form a unified framework capable of learning physical human motion and natural scene dynamics from a diverse blend of human and scene videos. Comprehensive qualitative and quantitative evaluations demonstrate that X-Dyna outperforms state-of-the-art methods, creating highly lifelike and expressive animations. The code is available at https://github.com/bytedance/X-Dyna.