Animate-X: Animación de Imágenes de Personajes Universal con Representación de Movimiento Mejorada

Animate-X: Universal Character Image Animation with Enhanced Motion Representation

October 14, 2024

Autores: Shuai Tan, Biao Gong, Xiang Wang, Shiwei Zhang, Dandan Zheng, Ruobing Zheng, Kecheng Zheng, Jingdong Chen, Ming Yang

cs.AI

Resumen

La animación de imágenes de personajes, que genera videos de alta calidad a partir de una imagen de referencia y una secuencia de posturas objetivo, ha experimentado un progreso significativo en los últimos años. Sin embargo, la mayoría de los métodos existentes solo se aplican a figuras humanas, que generalmente no se generalizan bien en personajes antropomórficos comúnmente utilizados en industrias como los videojuegos y el entretenimiento. Nuestro análisis exhaustivo sugiere que esta limitación se debe a su modelado insuficiente del movimiento, que no logra comprender el patrón de movimiento del video guía, imponiendo rígidamente una secuencia de posturas sobre el personaje objetivo. Con este fin, este artículo propone Animate-X, un marco de animación universal basado en LDM para varios tipos de personajes (colectivamente denominados X), incluidos los personajes antropomórficos. Para mejorar la representación del movimiento, introducimos el Indicador de Postura, que captura el patrón de movimiento completo del video guía de manera implícita y explícita. El primero aprovecha las características visuales CLIP de un video guía para extraer su esencia de movimiento, como el patrón de movimiento general y las relaciones temporales entre movimientos, mientras que el segundo refuerza la generalización de LDM al simular posibles entradas con anticipación que pueden surgir durante la inferencia. Además, presentamos un nuevo Banco de Pruebas Animado Antropomórfico (A^2Bench) para evaluar el rendimiento de Animate-X en imágenes de animación universales y ampliamente aplicables. Experimentos extensos demuestran la superioridad y efectividad de Animate-X en comparación con los métodos de vanguardia.

English

Character image animation, which generates high-quality videos from a reference image and target pose sequence, has seen significant progress in recent years. However, most existing methods only apply to human figures, which usually do not generalize well on anthropomorphic characters commonly used in industries like gaming and entertainment. Our in-depth analysis suggests to attribute this limitation to their insufficient modeling of motion, which is unable to comprehend the movement pattern of the driving video, thus imposing a pose sequence rigidly onto the target character. To this end, this paper proposes Animate-X, a universal animation framework based on LDM for various character types (collectively named X), including anthropomorphic characters. To enhance motion representation, we introduce the Pose Indicator, which captures comprehensive motion pattern from the driving video through both implicit and explicit manner. The former leverages CLIP visual features of a driving video to extract its gist of motion, like the overall movement pattern and temporal relations among motions, while the latter strengthens the generalization of LDM by simulating possible inputs in advance that may arise during inference. Moreover, we introduce a new Animated Anthropomorphic Benchmark (A^2Bench) to evaluate the performance of Animate-X on universal and widely applicable animation images. Extensive experiments demonstrate the superiority and effectiveness of Animate-X compared to state-of-the-art methods.