Animate-X: Универсальная анимация изображения персонажа с улучшенным представлением движения

Animate-X: Universal Character Image Animation with Enhanced Motion Representation

October 14, 2024

Авторы: Shuai Tan, Biao Gong, Xiang Wang, Shiwei Zhang, Dandan Zheng, Ruobing Zheng, Kecheng Zheng, Jingdong Chen, Ming Yang

cs.AI

Аннотация

Анимация изображения персонажа, которая генерирует видеоролики высокого качества из исходного изображения и последовательности целевых поз, в последние годы продемонстрировала значительный прогресс. Однако большинство существующих методов применимы только к человеческим фигурам, что обычно плохо обобщается на антропоморфных персонажей, часто используемых в индустрии игр и развлечений. Наш анализ показывает, что эта ограниченность обусловлена недостаточным моделированием движения, которое не способно понять образец движения исходного видео, что приводит к жесткому навязыванию последовательности поз на целевого персонажа. В данной работе предлагается Animate-X, универсальная анимационная платформа на основе LDM для различных типов персонажей (коллективно названных X), включая антропоморфных персонажей. Для улучшения представления движения мы вводим индикатор позы, который улавливает всесторонний образец движения из исходного видео как неявным, так и явным образом. Первый способ использует визуальные характеристики CLIP исходного видео для извлечения его сути движения, такие как общий образец движения и временные связи между движениями, в то время как второй укрепляет обобщение LDM путем симуляции возможных входных данных заранее, которые могут возникнуть во время вывода. Более того, мы представляем новый бенчмарк анимированных антропоморфных персонажей (A^2Bench) для оценки производительности Animate-X на универсальных и широко применимых анимационных изображениях. Обширные эксперименты демонстрируют превосходство и эффективность Animate-X по сравнению с передовыми методами.

English

Character image animation, which generates high-quality videos from a reference image and target pose sequence, has seen significant progress in recent years. However, most existing methods only apply to human figures, which usually do not generalize well on anthropomorphic characters commonly used in industries like gaming and entertainment. Our in-depth analysis suggests to attribute this limitation to their insufficient modeling of motion, which is unable to comprehend the movement pattern of the driving video, thus imposing a pose sequence rigidly onto the target character. To this end, this paper proposes Animate-X, a universal animation framework based on LDM for various character types (collectively named X), including anthropomorphic characters. To enhance motion representation, we introduce the Pose Indicator, which captures comprehensive motion pattern from the driving video through both implicit and explicit manner. The former leverages CLIP visual features of a driving video to extract its gist of motion, like the overall movement pattern and temporal relations among motions, while the latter strengthens the generalization of LDM by simulating possible inputs in advance that may arise during inference. Moreover, we introduce a new Animated Anthropomorphic Benchmark (A^2Bench) to evaluate the performance of Animate-X on universal and widely applicable animation images. Extensive experiments demonstrate the superiority and effectiveness of Animate-X compared to state-of-the-art methods.