Animate-X: Universele karakterafbeeldingsanimatie met verbeterde bewegingsrepresentatie

Animate-X: Universal Character Image Animation with Enhanced Motion Representation

October 14, 2024

Auteurs: Shuai Tan, Biao Gong, Xiang Wang, Shiwei Zhang, Dandan Zheng, Ruobing Zheng, Kecheng Zheng, Jingdong Chen, Ming Yang

cs.AI

Samenvatting

Karakterbeeldanimatie, die hoogwaardige video's genereert vanuit een referentiebeeld en een doelhoudingreeks, heeft de afgelopen jaren aanzienlijke vooruitgang geboekt. De meeste bestaande methoden zijn echter alleen van toepassing op menselijke figuren, die meestal niet goed generaliseren naar antropomorfe karakters die veel worden gebruikt in sectoren zoals gaming en entertainment. Onze diepgaande analyse suggereert dat deze beperking kan worden toegeschreven aan hun ontoereikende modellering van beweging, die niet in staat is om het bewegingspatroon van de sturende video te begrijpen en daarom star een houdingreeks oplegt aan het doelkarakter. Daarom stelt dit artikel Animate-X voor, een universeel animatiekader gebaseerd op LDM voor verschillende karaktertypen (gezamenlijk aangeduid als X), inclusief antropomorfe karakters. Om de bewegingsrepresentatie te verbeteren, introduceren we de Pose Indicator, die een uitgebreid bewegingspatroon van de sturende video vastlegt op zowel impliciete als expliciete wijze. De eerste maakt gebruik van CLIP visuele kenmerken van een sturende video om de essentie van de beweging te extraheren, zoals het algemene bewegingspatroon en de temporele relaties tussen bewegingen, terwijl de laatste de generalisatie van LDM versterkt door mogelijke invoer vooraf te simuleren die zich tijdens inferentie kunnen voordoen. Bovendien introduceren we een nieuwe Geanimeerde Antropomorfe Benchmark (A^2Bench) om de prestaties van Animate-X op universele en breed toepasbare animatiebeelden te evalueren. Uitgebreide experimenten tonen de superioriteit en effectiviteit van Animate-X aan in vergelijking met state-of-the-art methoden.

English

Character image animation, which generates high-quality videos from a reference image and target pose sequence, has seen significant progress in recent years. However, most existing methods only apply to human figures, which usually do not generalize well on anthropomorphic characters commonly used in industries like gaming and entertainment. Our in-depth analysis suggests to attribute this limitation to their insufficient modeling of motion, which is unable to comprehend the movement pattern of the driving video, thus imposing a pose sequence rigidly onto the target character. To this end, this paper proposes Animate-X, a universal animation framework based on LDM for various character types (collectively named X), including anthropomorphic characters. To enhance motion representation, we introduce the Pose Indicator, which captures comprehensive motion pattern from the driving video through both implicit and explicit manner. The former leverages CLIP visual features of a driving video to extract its gist of motion, like the overall movement pattern and temporal relations among motions, while the latter strengthens the generalization of LDM by simulating possible inputs in advance that may arise during inference. Moreover, we introduce a new Animated Anthropomorphic Benchmark (A^2Bench) to evaluate the performance of Animate-X on universal and widely applicable animation images. Extensive experiments demonstrate the superiority and effectiveness of Animate-X compared to state-of-the-art methods.