Animate-X: Animação de Imagens de Personagens Universal com Representação Aprimorada de Movimento

Animate-X: Universal Character Image Animation with Enhanced Motion Representation

October 14, 2024

Autores: Shuai Tan, Biao Gong, Xiang Wang, Shiwei Zhang, Dandan Zheng, Ruobing Zheng, Kecheng Zheng, Jingdong Chen, Ming Yang

cs.AI

Resumo

A animação de imagem de personagem, que gera vídeos de alta qualidade a partir de uma imagem de referência e uma sequência de poses-alvo, tem visto um progresso significativo nos últimos anos. No entanto, a maioria dos métodos existentes se aplica apenas a figuras humanas, o que geralmente não se generaliza bem em personagens antropomórficos comumente usados em indústrias como jogos e entretenimento. Nossa análise aprofundada sugere que essa limitação se deve principalmente a uma modelagem de movimento insuficiente, que não consegue compreender o padrão de movimento do vídeo de referência, impondo rigidamente uma sequência de poses no personagem-alvo. Para resolver isso, este artigo propõe Animate-X, um framework de animação universal baseado em LDM para vários tipos de personagens (coletivamente nomeados X), incluindo personagens antropomórficos. Para aprimorar a representação de movimento, introduzimos o Indicador de Pose, que captura o padrão de movimento abrangente do vídeo de referência de maneira implícita e explícita. O primeiro utiliza características visuais CLIP de um vídeo de referência para extrair sua essência de movimento, como o padrão geral de movimento e as relações temporais entre os movimentos, enquanto o segundo fortalece a generalização de LDM ao simular possíveis entradas antecipadamente que podem surgir durante a inferência. Além disso, introduzimos um novo Benchmark de Antropomorfização Animada (A^2Bench) para avaliar o desempenho do Animate-X em imagens de animação universais e amplamente aplicáveis. Experimentos extensivos demonstram a superioridade e eficácia do Animate-X em comparação com os métodos de ponta.

English

Character image animation, which generates high-quality videos from a reference image and target pose sequence, has seen significant progress in recent years. However, most existing methods only apply to human figures, which usually do not generalize well on anthropomorphic characters commonly used in industries like gaming and entertainment. Our in-depth analysis suggests to attribute this limitation to their insufficient modeling of motion, which is unable to comprehend the movement pattern of the driving video, thus imposing a pose sequence rigidly onto the target character. To this end, this paper proposes Animate-X, a universal animation framework based on LDM for various character types (collectively named X), including anthropomorphic characters. To enhance motion representation, we introduce the Pose Indicator, which captures comprehensive motion pattern from the driving video through both implicit and explicit manner. The former leverages CLIP visual features of a driving video to extract its gist of motion, like the overall movement pattern and temporal relations among motions, while the latter strengthens the generalization of LDM by simulating possible inputs in advance that may arise during inference. Moreover, we introduce a new Animated Anthropomorphic Benchmark (A^2Bench) to evaluate the performance of Animate-X on universal and widely applicable animation images. Extensive experiments demonstrate the superiority and effectiveness of Animate-X compared to state-of-the-art methods.