Animate-X : Animation d'images de personnages universelle avec représentation améliorée du mouvement

Animate-X: Universal Character Image Animation with Enhanced Motion Representation

October 14, 2024

Auteurs: Shuai Tan, Biao Gong, Xiang Wang, Shiwei Zhang, Dandan Zheng, Ruobing Zheng, Kecheng Zheng, Jingdong Chen, Ming Yang

cs.AI

Résumé

L'animation d'image de personnage, qui génère des vidéos de haute qualité à partir d'une image de référence et d'une séquence de poses cibles, a connu des progrès significatifs ces dernières années. Cependant, la plupart des méthodes existantes s'appliquent uniquement aux figures humaines, qui ne se généralisent généralement pas bien aux personnages anthropomorphes couramment utilisés dans des industries telles que les jeux vidéo et le divertissement. Notre analyse approfondie suggère que cette limitation est due à leur modélisation insuffisante du mouvement, qui ne parvient pas à comprendre le motif de mouvement de la vidéo pilote, imposant ainsi rigidement une séquence de poses au personnage cible. À cette fin, cet article propose Animate-X, un cadre d'animation universel basé sur LDM pour divers types de personnages (collectivement nommés X), y compris les personnages anthropomorphes. Pour améliorer la représentation du mouvement, nous introduisons l'Indicateur de Pose, qui capture le motif de mouvement complet de la vidéo pilote de manière implicite et explicite. Le premier exploite les caractéristiques visuelles CLIP d'une vidéo pilote pour extraire l'essence de son mouvement, comme le motif de mouvement global et les relations temporelles entre les mouvements, tandis que le second renforce la généralisation de LDM en simulant à l'avance les entrées possibles qui pourraient survenir pendant l'inférence. De plus, nous introduisons un nouveau Banc d'Essai Anthropomorphe Animé (A^2Bench) pour évaluer les performances d'Animate-X sur des images d'animation universelles et largement applicables. Des expériences approfondies démontrent la supériorité et l'efficacité d'Animate-X par rapport aux méthodes de pointe.

English

Character image animation, which generates high-quality videos from a reference image and target pose sequence, has seen significant progress in recent years. However, most existing methods only apply to human figures, which usually do not generalize well on anthropomorphic characters commonly used in industries like gaming and entertainment. Our in-depth analysis suggests to attribute this limitation to their insufficient modeling of motion, which is unable to comprehend the movement pattern of the driving video, thus imposing a pose sequence rigidly onto the target character. To this end, this paper proposes Animate-X, a universal animation framework based on LDM for various character types (collectively named X), including anthropomorphic characters. To enhance motion representation, we introduce the Pose Indicator, which captures comprehensive motion pattern from the driving video through both implicit and explicit manner. The former leverages CLIP visual features of a driving video to extract its gist of motion, like the overall movement pattern and temporal relations among motions, while the latter strengthens the generalization of LDM by simulating possible inputs in advance that may arise during inference. Moreover, we introduce a new Animated Anthropomorphic Benchmark (A^2Bench) to evaluate the performance of Animate-X on universal and widely applicable animation images. Extensive experiments demonstrate the superiority and effectiveness of Animate-X compared to state-of-the-art methods.