Animate-X: Animazione di immagini di personaggi universali con rappresentazione del movimento migliorata

Animate-X: Universal Character Image Animation with Enhanced Motion Representation

October 14, 2024

Autori: Shuai Tan, Biao Gong, Xiang Wang, Shiwei Zhang, Dandan Zheng, Ruobing Zheng, Kecheng Zheng, Jingdong Chen, Ming Yang

cs.AI

Abstract

L'animazione di immagini di personaggi, che genera video di alta qualità da un'immagine di riferimento e una sequenza di pose target, ha visto progressi significativi negli ultimi anni. Tuttavia, la maggior parte dei metodi esistenti si applica solo a figure umane, che di solito non si generalizzano bene sui personaggi antropomorfi comunemente usati in settori come il gaming e l'intrattenimento. La nostra analisi approfondita suggerisce che questa limitazione sia dovuta alla loro modellazione insufficiente del movimento, che non riesce a comprendere il modello di movimento del video guida, imponendo quindi rigidamente una sequenza di pose al personaggio target. A tal fine, questo articolo propone Animate-X, un framework di animazione universale basato su LDM per vari tipi di personaggi (collettivamente chiamati X), inclusi i personaggi antropomorfi. Per migliorare la rappresentazione del movimento, introduciamo l'Indicatore di Pose, che cattura il modello di movimento completo dal video guida sia in modo implicito che esplicito. Il primo sfrutta le caratteristiche visive CLIP di un video guida per estrarre il suo senso del movimento, come il modello di movimento generale e le relazioni temporali tra i movimenti, mentre il secondo rafforza la generalizzazione di LDM simulando in anticipo possibili input che potrebbero sorgere durante l'inferenza. Inoltre, introduciamo un nuovo Benchmark Antropomorfo Animato (A^2Bench) per valutare le prestazioni di Animate-X su immagini di animazione universali e ampiamente applicabili. Estesi esperimenti dimostrano la superiorità e l'efficacia di Animate-X rispetto ai metodi all'avanguardia.

English

Character image animation, which generates high-quality videos from a reference image and target pose sequence, has seen significant progress in recent years. However, most existing methods only apply to human figures, which usually do not generalize well on anthropomorphic characters commonly used in industries like gaming and entertainment. Our in-depth analysis suggests to attribute this limitation to their insufficient modeling of motion, which is unable to comprehend the movement pattern of the driving video, thus imposing a pose sequence rigidly onto the target character. To this end, this paper proposes Animate-X, a universal animation framework based on LDM for various character types (collectively named X), including anthropomorphic characters. To enhance motion representation, we introduce the Pose Indicator, which captures comprehensive motion pattern from the driving video through both implicit and explicit manner. The former leverages CLIP visual features of a driving video to extract its gist of motion, like the overall movement pattern and temporal relations among motions, while the latter strengthens the generalization of LDM by simulating possible inputs in advance that may arise during inference. Moreover, we introduce a new Animated Anthropomorphic Benchmark (A^2Bench) to evaluate the performance of Animate-X on universal and widely applicable animation images. Extensive experiments demonstrate the superiority and effectiveness of Animate-X compared to state-of-the-art methods.