AnimateAnything: Последовательная и управляемая анимация для генерации видео

AnimateAnything: Consistent and Controllable Animation for Video Generation

November 16, 2024

Авторы: Guojun Lei, Chi Wang, Hong Li, Rong Zhang, Yikai Wang, Weiwei Xu

cs.AI

Аннотация

Мы представляем унифицированный подход к генерации видео с возможностью управления - AnimateAnything, который облегчает точное и последовательное управление видео в различных условиях, включая траектории камеры, текстовые подсказки и аннотации движения пользователей. Конкретно, мы тщательно разрабатываем многошкальную сеть объединения функций управления для создания общего представления движения для различных условий. Она явно преобразует всю информацию управления в оптические потоки кадр за кадром. Затем мы включаем оптические потоки в качестве движущихся априорных данных для направления окончательной генерации видео. Кроме того, для уменьшения мерцания, вызванного движениями большого масштаба, мы предлагаем модуль стабилизации на основе частот. Он может улучшить временную согласованность, обеспечивая согласованность области частот видео. Эксперименты показывают, что наш метод превосходит существующие подходы. Дополнительные детали и видео можно найти на веб-странице: https://yu-shaonian.github.io/Animate_Anything/.

English

We present a unified controllable video generation approach AnimateAnything that facilitates precise and consistent video manipulation across various conditions, including camera trajectories, text prompts, and user motion annotations. Specifically, we carefully design a multi-scale control feature fusion network to construct a common motion representation for different conditions. It explicitly converts all control information into frame-by-frame optical flows. Then we incorporate the optical flows as motion priors to guide final video generation. In addition, to reduce the flickering issues caused by large-scale motion, we propose a frequency-based stabilization module. It can enhance temporal coherence by ensuring the video's frequency domain consistency. Experiments demonstrate that our method outperforms the state-of-the-art approaches. For more details and videos, please refer to the webpage: https://yu-shaonian.github.io/Animate_Anything/.