ビデオ生成のためのトレーニング不要なカメラ制御

Training-free Camera Control for Video Generation

June 14, 2024

著者: Chen Hou, Guoqiang Wei, Yan Zeng, Zhibo Chen

cs.AI

要旨

既存のビデオ拡散モデルに対して、トレーニング不要でロバストなカメラ移動制御を提供するソリューションを提案します。従来の研究とは異なり、本手法はカメラ注釈付きデータセットでの教師ありファインチューニングや、データ拡張による自己教師ありトレーニングを一切必要としません。代わりに、ほとんどの事前学習済みビデオ拡散モデルにプラグアンドプレイ可能で、単一の画像またはテキストプロンプトを入力としてカメラ制御可能なビデオを生成できます。本手法の着想は、中間潜在表現が生成結果に対して持つレイアウト事前分布に基づいています。つまり、ノイジーピクセルを再配置することで、出力内容も再配置されるという考えです。カメラ移動も視点変化によるピクセルの再配置と見なせるため、ノイジー潜在表現がそれに応じて変化すれば、特定のカメラモーションに従ってビデオを再構成できます。これを基に、ビデオ拡散モデルに対してロバストなカメラ制御を可能にするCamTrolを提案します。これは2段階のプロセスで実現されます。まず、3D点群空間における明示的なカメラ移動を通じて画像レイアウトの再配置をモデル化します。次に、一連の再配置画像によって形成されたノイジー潜在表現のレイアウト事前分布を用いて、カメラモーション付きのビデオを生成します。大規模な実験により、本手法が生成ビデオのカメラモーション制御において高いロバスト性を持つことが実証されました。さらに、本手法がダイナミックなコンテンツを持つ3D回転ビデオの生成においても印象的な結果を生み出すことを示します。プロジェクトページはhttps://lifedecoder.github.io/CamTrol/にあります。

English

We propose a training-free and robust solution to offer camera movement control for off-the-shelf video diffusion models. Unlike previous work, our method does not require any supervised finetuning on camera-annotated datasets or self-supervised training via data augmentation. Instead, it can be plugged and played with most pretrained video diffusion models and generate camera controllable videos with a single image or text prompt as input. The inspiration of our work comes from the layout prior that intermediate latents hold towards generated results, thus rearranging noisy pixels in them will make output content reallocated as well. As camera move could also be seen as a kind of pixel rearrangement caused by perspective change, videos could be reorganized following specific camera motion if their noisy latents change accordingly. Established on this, we propose our method CamTrol, which enables robust camera control for video diffusion models. It is achieved by a two-stage process. First, we model image layout rearrangement through explicit camera movement in 3D point cloud space. Second, we generate videos with camera motion using layout prior of noisy latents formed by a series of rearranged images. Extensive experiments have demonstrated the robustness our method holds in controlling camera motion of generated videos. Furthermore, we show that our method can produce impressive results in generating 3D rotation videos with dynamic content. Project page at https://lifedecoder.github.io/CamTrol/.