X-Dyna: Animazione Espressiva Dinamica di Immagini Umane

X-Dyna: Expressive Dynamic Human Image Animation

January 17, 2025

Autori: Di Chang, Hongyi Xu, You Xie, Yipeng Gao, Zhengfei Kuang, Shengqu Cai, Chenxu Zhang, Guoxian Song, Chao Wang, Yichun Shi, Zeyuan Chen, Shijie Zhou, Linjie Luo, Gordon Wetzstein, Mohammad Soleymani

cs.AI

Abstract

Introduciamo X-Dyna, un nuovo pipeline basato sulla diffusione per animare un'immagine umana singola utilizzando espressioni facciali e movimenti del corpo derivati da un video di guida, che genera dinamiche realistiche e consapevoli del contesto sia per il soggetto che per l'ambiente circostante. Basandoci su approcci precedenti centrati sul controllo della postura umana, X-Dyna affronta le principali carenze che causano la perdita di dettagli dinamici, migliorando le qualità realistiche delle animazioni video umane. Al centro del nostro approccio si trova il Dynamics-Adapter, un modulo leggero che integra efficacemente il contesto dell'aspetto di riferimento nelle attenzioni spaziali della struttura di diffusione preservando la capacità dei moduli di movimento nella sintesi di dettagli dinamici fluidi e intricati. Oltre al controllo della postura del corpo, collegiamo un modulo di controllo locale al nostro modello per catturare espressioni facciali disentangled dall'identità, facilitando il trasferimento preciso delle espressioni per un realismo potenziato nelle scene animate. Insieme, questi componenti formano un framework unificato in grado di apprendere il movimento fisico umano e le dinamiche naturali della scena da una variegata miscela di video umani e di scena. Valutazioni qualitative e quantitative esaustive dimostrano che X-Dyna supera i metodi all'avanguardia, creando animazioni altamente realistiche ed espressive. Il codice è disponibile su https://github.com/bytedance/X-Dyna.

English

We introduce X-Dyna, a novel zero-shot, diffusion-based pipeline for animating a single human image using facial expressions and body movements derived from a driving video, that generates realistic, context-aware dynamics for both the subject and the surrounding environment. Building on prior approaches centered on human pose control, X-Dyna addresses key shortcomings causing the loss of dynamic details, enhancing the lifelike qualities of human video animations. At the core of our approach is the Dynamics-Adapter, a lightweight module that effectively integrates reference appearance context into the spatial attentions of the diffusion backbone while preserving the capacity of motion modules in synthesizing fluid and intricate dynamic details. Beyond body pose control, we connect a local control module with our model to capture identity-disentangled facial expressions, facilitating accurate expression transfer for enhanced realism in animated scenes. Together, these components form a unified framework capable of learning physical human motion and natural scene dynamics from a diverse blend of human and scene videos. Comprehensive qualitative and quantitative evaluations demonstrate that X-Dyna outperforms state-of-the-art methods, creating highly lifelike and expressive animations. The code is available at https://github.com/bytedance/X-Dyna.