AnimaçãoFlexível: Animação Coerente e Controlável para Geração de Vídeo

AnimateAnything: Consistent and Controllable Animation for Video Generation

November 16, 2024

Autores: Guojun Lei, Chi Wang, Hong Li, Rong Zhang, Yikai Wang, Weiwei Xu

cs.AI

Resumo

Apresentamos uma abordagem unificada de geração de vídeo controlável, AnimateAnything, que facilita a manipulação precisa e consistente de vídeos em várias condições, incluindo trajetórias de câmera, prompts de texto e anotações de movimento do usuário. Especificamente, projetamos cuidadosamente uma rede de fusão de características de controle em múltiplas escalas para construir uma representação de movimento comum para diferentes condições. Ela converte explicitamente todas as informações de controle em fluxos ópticos quadro a quadro. Em seguida, incorporamos os fluxos ópticos como priores de movimento para orientar a geração final do vídeo. Além disso, para reduzir os problemas de cintilação causados por movimentos em grande escala, propomos um módulo de estabilização baseado em frequência. Ele pode melhorar a coerência temporal garantindo a consistência no domínio de frequência do vídeo. Experimentos demonstram que nosso método supera as abordagens de ponta. Para mais detalhes e vídeos, consulte a página da web: https://yu-shaonian.github.io/Animate_Anything/.

English

We present a unified controllable video generation approach AnimateAnything that facilitates precise and consistent video manipulation across various conditions, including camera trajectories, text prompts, and user motion annotations. Specifically, we carefully design a multi-scale control feature fusion network to construct a common motion representation for different conditions. It explicitly converts all control information into frame-by-frame optical flows. Then we incorporate the optical flows as motion priors to guide final video generation. In addition, to reduce the flickering issues caused by large-scale motion, we propose a frequency-based stabilization module. It can enhance temporal coherence by ensuring the video's frequency domain consistency. Experiments demonstrate that our method outperforms the state-of-the-art approaches. For more details and videos, please refer to the webpage: https://yu-shaonian.github.io/Animate_Anything/.