Animate-X: Universelle Charakterbildanimation mit verbesserter Bewegungsrepräsentation

Animate-X: Universal Character Image Animation with Enhanced Motion Representation

October 14, 2024

Autoren: Shuai Tan, Biao Gong, Xiang Wang, Shiwei Zhang, Dandan Zheng, Ruobing Zheng, Kecheng Zheng, Jingdong Chen, Ming Yang

cs.AI

Zusammenfassung

Die Animation von Charakterbildern, die hochwertige Videos aus einem Referenzbild und einer Zielposenfolge generiert, hat in den letzten Jahren erhebliche Fortschritte gemacht. Die meisten bestehenden Methoden gelten jedoch nur für menschliche Figuren, die in der Regel nicht gut auf anthropomorphe Charaktere übertragbar sind, die häufig in Branchen wie Gaming und Unterhaltung verwendet werden. Unsere eingehende Analyse legt nahe, dass diese Einschränkung auf ihre unzureichende Modellierung von Bewegung zurückzuführen ist, die das Bewegungsmuster des Ausgangsvideos nicht erfassen kann und daher eine Posenfolge starr auf den Zielfiguren anwendet. Zu diesem Zweck schlägt dieser Artikel Animate-X vor, ein universelles Animationsframework basierend auf LDM für verschiedene Charaktertypen (kollektiv als X bezeichnet), einschließlich anthropomorpher Charaktere. Zur Verbesserung der Bewegungsrepräsentation führen wir den Pose Indicator ein, der das umfassende Bewegungsmuster aus dem Ausgangsvideo auf implizite und explizite Weise erfasst. Ersteres nutzt CLIP-Visuelleigenschaften eines Ausgangsvideos, um dessen Wesen der Bewegung zu extrahieren, wie das allgemeine Bewegungsmuster und die zeitlichen Beziehungen zwischen Bewegungen, während letzteres die Verallgemeinerung von LDM durch die Simulation möglicher Eingaben im Voraus stärkt, die während der Inferenz auftreten können. Darüber hinaus führen wir ein neues animiertes anthropomorphes Benchmark (A^2Bench) ein, um die Leistung von Animate-X bei universellen und weit verbreiteten Animationsbildern zu bewerten. Umfangreiche Experimente zeigen die Überlegenheit und Wirksamkeit von Animate-X im Vergleich zu State-of-the-Art-Methoden.

English

Character image animation, which generates high-quality videos from a reference image and target pose sequence, has seen significant progress in recent years. However, most existing methods only apply to human figures, which usually do not generalize well on anthropomorphic characters commonly used in industries like gaming and entertainment. Our in-depth analysis suggests to attribute this limitation to their insufficient modeling of motion, which is unable to comprehend the movement pattern of the driving video, thus imposing a pose sequence rigidly onto the target character. To this end, this paper proposes Animate-X, a universal animation framework based on LDM for various character types (collectively named X), including anthropomorphic characters. To enhance motion representation, we introduce the Pose Indicator, which captures comprehensive motion pattern from the driving video through both implicit and explicit manner. The former leverages CLIP visual features of a driving video to extract its gist of motion, like the overall movement pattern and temporal relations among motions, while the latter strengthens the generalization of LDM by simulating possible inputs in advance that may arise during inference. Moreover, we introduce a new Animated Anthropomorphic Benchmark (A^2Bench) to evaluate the performance of Animate-X on universal and widely applicable animation images. Extensive experiments demonstrate the superiority and effectiveness of Animate-X compared to state-of-the-art methods.