X-Dyna: Animação Expressiva de Imagens Humanas Dinâmicas

X-Dyna: Expressive Dynamic Human Image Animation

January 17, 2025

Autores: Di Chang, Hongyi Xu, You Xie, Yipeng Gao, Zhengfei Kuang, Shengqu Cai, Chenxu Zhang, Guoxian Song, Chao Wang, Yichun Shi, Zeyuan Chen, Shijie Zhou, Linjie Luo, Gordon Wetzstein, Mohammad Soleymani

cs.AI

Resumo

Apresentamos o X-Dyna, um novo pipeline baseado em difusão para animar uma única imagem humana usando expressões faciais e movimentos corporais derivados de um vídeo de referência, que gera dinâmicas realistas e contextualmente conscientes tanto para o sujeito quanto para o ambiente circundante. Construindo sobre abordagens anteriores centradas no controle de pose humana, o X-Dyna aborda deficiências-chave que causam a perda de detalhes dinâmicos, aprimorando as qualidades realistas das animações de vídeo humanas. No cerne de nossa abordagem está o Adaptador de Dinâmicas, um módulo leve que integra efetivamente o contexto de aparência de referência nas atenções espaciais da espinha dorsal de difusão, preservando a capacidade dos módulos de movimento em sintetizar detalhes dinâmicos fluidos e intrincados. Além do controle de pose corporal, conectamos um módulo de controle local ao nosso modelo para capturar expressões faciais desembaraçadas da identidade, facilitando a transferência precisa de expressão para realismo aprimorado em cenas animadas. Juntos, esses componentes formam um framework unificado capaz de aprender o movimento humano físico e a dinâmica natural da cena a partir de uma mistura diversificada de vídeos humanos e de cena. Avaliações qualitativas e quantitativas abrangentes demonstram que o X-Dyna supera os métodos de ponta, criando animações altamente realistas e expressivas. O código está disponível em https://github.com/bytedance/X-Dyna.

English

We introduce X-Dyna, a novel zero-shot, diffusion-based pipeline for animating a single human image using facial expressions and body movements derived from a driving video, that generates realistic, context-aware dynamics for both the subject and the surrounding environment. Building on prior approaches centered on human pose control, X-Dyna addresses key shortcomings causing the loss of dynamic details, enhancing the lifelike qualities of human video animations. At the core of our approach is the Dynamics-Adapter, a lightweight module that effectively integrates reference appearance context into the spatial attentions of the diffusion backbone while preserving the capacity of motion modules in synthesizing fluid and intricate dynamic details. Beyond body pose control, we connect a local control module with our model to capture identity-disentangled facial expressions, facilitating accurate expression transfer for enhanced realism in animated scenes. Together, these components form a unified framework capable of learning physical human motion and natural scene dynamics from a diverse blend of human and scene videos. Comprehensive qualitative and quantitative evaluations demonstrate that X-Dyna outperforms state-of-the-art methods, creating highly lifelike and expressive animations. The code is available at https://github.com/bytedance/X-Dyna.