X-Dyna: Animación de Imágenes Humanas Dinámicas Expresivas

X-Dyna: Expressive Dynamic Human Image Animation

January 17, 2025

Autores: Di Chang, Hongyi Xu, You Xie, Yipeng Gao, Zhengfei Kuang, Shengqu Cai, Chenxu Zhang, Guoxian Song, Chao Wang, Yichun Shi, Zeyuan Chen, Shijie Zhou, Linjie Luo, Gordon Wetzstein, Mohammad Soleymani

cs.AI

Resumen

Presentamos X-Dyna, un novedoso pipeline de difusión de cero disparos para animar una única imagen humana utilizando expresiones faciales y movimientos corporales derivados de un video de referencia, que genera dinámicas realistas y contextualmente conscientes tanto para el sujeto como para el entorno circundante. Basándose en enfoques anteriores centrados en el control de postura humana, X-Dyna aborda las deficiencias clave que causan la pérdida de detalles dinámicos, mejorando las cualidades realistas de las animaciones de video humanas. En el núcleo de nuestro enfoque se encuentra el Adaptador de Dinámicas, un módulo ligero que integra eficazmente el contexto de apariencia de referencia en las atenciones espaciales de la columna vertebral de difusión mientras preserva la capacidad de los módulos de movimiento para sintetizar detalles dinámicos fluidos e intrincados. Más allá del control de postura corporal, conectamos un módulo de control local con nuestro modelo para capturar expresiones faciales desenredadas de la identidad, facilitando la transferencia precisa de expresiones para mejorar el realismo en escenas animadas. Juntos, estos componentes forman un marco unificado capaz de aprender el movimiento físico humano y las dinámicas naturales de escenas a partir de una variedad diversa de videos humanos y de escenas. Evaluaciones cualitativas y cuantitativas exhaustivas demuestran que X-Dyna supera a los métodos de vanguardia, creando animaciones altamente realistas y expresivas. El código está disponible en https://github.com/bytedance/X-Dyna.

English

We introduce X-Dyna, a novel zero-shot, diffusion-based pipeline for animating a single human image using facial expressions and body movements derived from a driving video, that generates realistic, context-aware dynamics for both the subject and the surrounding environment. Building on prior approaches centered on human pose control, X-Dyna addresses key shortcomings causing the loss of dynamic details, enhancing the lifelike qualities of human video animations. At the core of our approach is the Dynamics-Adapter, a lightweight module that effectively integrates reference appearance context into the spatial attentions of the diffusion backbone while preserving the capacity of motion modules in synthesizing fluid and intricate dynamic details. Beyond body pose control, we connect a local control module with our model to capture identity-disentangled facial expressions, facilitating accurate expression transfer for enhanced realism in animated scenes. Together, these components form a unified framework capable of learning physical human motion and natural scene dynamics from a diverse blend of human and scene videos. Comprehensive qualitative and quantitative evaluations demonstrate that X-Dyna outperforms state-of-the-art methods, creating highly lifelike and expressive animations. The code is available at https://github.com/bytedance/X-Dyna.