AnimateAnything：ビデオ生成のための一貫性のある制御可能なアニメーション

AnimateAnything: Consistent and Controllable Animation for Video Generation

November 16, 2024

著者: Guojun Lei, Chi Wang, Hong Li, Rong Zhang, Yikai Wang, Weiwei Xu

cs.AI

要旨

我々は、異なる条件下での正確かつ一貫したビデオ操作を容易にする統合可能な制御可能ビデオ生成手法である「AnimateAnything」を提案します。具体的には、異なる条件のために共通の動き表現を構築するために、マルチスケール制御特徴融合ネットワークを慎重に設計します。これにより、すべての制御情報をフレームごとの光学フローに明示的に変換します。その後、光学フローを動きの事前情報として取り込み、最終的なビデオ生成をガイドします。さらに、大規模な動きによって引き起こされるフリッカリング問題を軽減するために、周波数ベースの安定化モジュールを提案します。これにより、ビデオの周波数領域の一貫性を確保することで、時間的な整合性を向上させることができます。実験により、当社の手法が最先端のアプローチを上回ることが示されています。詳細やビデオについては、次のウェブページを参照してください：https://yu-shaonian.github.io/Animate_Anything/。

English

We present a unified controllable video generation approach AnimateAnything that facilitates precise and consistent video manipulation across various conditions, including camera trajectories, text prompts, and user motion annotations. Specifically, we carefully design a multi-scale control feature fusion network to construct a common motion representation for different conditions. It explicitly converts all control information into frame-by-frame optical flows. Then we incorporate the optical flows as motion priors to guide final video generation. In addition, to reduce the flickering issues caused by large-scale motion, we propose a frequency-based stabilization module. It can enhance temporal coherence by ensuring the video's frequency domain consistency. Experiments demonstrate that our method outperforms the state-of-the-art approaches. For more details and videos, please refer to the webpage: https://yu-shaonian.github.io/Animate_Anything/.