Animate-X : Animation d'images de personnages universelle avec représentation améliorée du mouvementAnimate-X: Universal Character Image Animation with Enhanced Motion
Representation
L'animation d'image de personnage, qui génère des vidéos de haute qualité à partir d'une image de référence et d'une séquence de poses cibles, a connu des progrès significatifs ces dernières années. Cependant, la plupart des méthodes existantes s'appliquent uniquement aux figures humaines, qui ne se généralisent généralement pas bien aux personnages anthropomorphes couramment utilisés dans des industries telles que les jeux vidéo et le divertissement. Notre analyse approfondie suggère que cette limitation est due à leur modélisation insuffisante du mouvement, qui ne parvient pas à comprendre le motif de mouvement de la vidéo pilote, imposant ainsi rigidement une séquence de poses au personnage cible. À cette fin, cet article propose Animate-X, un cadre d'animation universel basé sur LDM pour divers types de personnages (collectivement nommés X), y compris les personnages anthropomorphes. Pour améliorer la représentation du mouvement, nous introduisons l'Indicateur de Pose, qui capture le motif de mouvement complet de la vidéo pilote de manière implicite et explicite. Le premier exploite les caractéristiques visuelles CLIP d'une vidéo pilote pour extraire l'essence de son mouvement, comme le motif de mouvement global et les relations temporelles entre les mouvements, tandis que le second renforce la généralisation de LDM en simulant à l'avance les entrées possibles qui pourraient survenir pendant l'inférence. De plus, nous introduisons un nouveau Banc d'Essai Anthropomorphe Animé (A^2Bench) pour évaluer les performances d'Animate-X sur des images d'animation universelles et largement applicables. Des expériences approfondies démontrent la supériorité et l'efficacité d'Animate-X par rapport aux méthodes de pointe.