AC3D: ビデオ拡散における3Dカメラ制御の分析と改善

AC3D: Analyzing and Improving 3D Camera Control in Video Diffusion Transformers

November 27, 2024

著者: Sherwin Bahmani, Ivan Skorokhodov, Guocheng Qian, Aliaksandr Siarohin, Willi Menapace, Andrea Tagliasacchi, David B. Lindell, Sergey Tulyakov

cs.AI

要旨

最近、多くの研究が基本的なテキストからビデオモデルへ3Dカメラ制御を統合していますが、その結果として得られるカメラ制御はしばしば不正確であり、ビデオ生成の品質が低下しています。本研究では、第一原理の観点からカメラの動きを分析し、合成品質を損なうことなく正確な3Dカメラ操作を可能にする洞察を明らかにします。まず、ビデオ内のカメラの動きによって引き起こされる動きが低周波数であることを確認します。これにより、訓練およびテストのポーズ条件付けスケジュールを調整し、訓練の収束を加速させつつ視覚的および動きの品質を向上させる動機が生まれます。次に、無条件のビデオ拡散トランスフォーマの表現を調査することで、その内部でカメラの姿勢推定が暗黙的に行われていることを発見し、その一部のレイヤーのみがカメラ情報を含んでいることを確認します。これにより、他のビデオ特徴との干渉を防ぐために、カメラ条件付けの注入をアーキテクチャの一部に制限することが提案され、訓練パラメータを4倍削減し、訓練速度を向上させ、視覚的品質を10%向上させることが可能となります。最後に、典型的なカメラ制御学習のためのデータセットに、20,000の多様な動的ビデオと静止したカメラを持つ厳選されたデータセットを補完することで、モデルがカメラとシーンの動きの違いを明確にし、ポーズ条件付きビデオのダイナミクスを向上させます。これらの知見を組み合わせて、Advanced 3D Camera Control（AC3D）アーキテクチャを設計し、カメラ制御を備えた生成ビデオモデリングの最先端モデルとなります。

English

Numerous works have recently integrated 3D camera control into foundational text-to-video models, but the resulting camera control is often imprecise, and video generation quality suffers. In this work, we analyze camera motion from a first principles perspective, uncovering insights that enable precise 3D camera manipulation without compromising synthesis quality. First, we determine that motion induced by camera movements in videos is low-frequency in nature. This motivates us to adjust train and test pose conditioning schedules, accelerating training convergence while improving visual and motion quality. Then, by probing the representations of an unconditional video diffusion transformer, we observe that they implicitly perform camera pose estimation under the hood, and only a sub-portion of their layers contain the camera information. This suggested us to limit the injection of camera conditioning to a subset of the architecture to prevent interference with other video features, leading to 4x reduction of training parameters, improved training speed and 10% higher visual quality. Finally, we complement the typical dataset for camera control learning with a curated dataset of 20K diverse dynamic videos with stationary cameras. This helps the model disambiguate the difference between camera and scene motion, and improves the dynamics of generated pose-conditioned videos. We compound these findings to design the Advanced 3D Camera Control (AC3D) architecture, the new state-of-the-art model for generative video modeling with camera control.