AC3D: Analyse und Verbesserung der 3D-Kamerasteuerung in Video-Übertragungstransformatoren

AC3D: Analyzing and Improving 3D Camera Control in Video Diffusion Transformers

November 27, 2024

Autoren: Sherwin Bahmani, Ivan Skorokhodov, Guocheng Qian, Aliaksandr Siarohin, Willi Menapace, Andrea Tagliasacchi, David B. Lindell, Sergey Tulyakov

cs.AI

Zusammenfassung

In zahlreichen Arbeiten wurde in letzter Zeit die Integration der 3D-Kamerasteuerung in grundlegende Text-zu-Video-Modelle durchgeführt, jedoch ist die resultierende Kamerasteuerung oft ungenau, was zu einer Beeinträchtigung der Videoerzeugungsqualität führt. In dieser Arbeit analysieren wir die Kamerabewegung aus einer Erstprinzipien-Perspektive und gewinnen Erkenntnisse, die eine präzise 3D-Kameramanipulation ermöglichen, ohne die Qualität der Synthese zu beeinträchtigen. Zunächst bestimmen wir, dass die durch Kamerabewegungen in Videos verursachte Bewegung von niedriger Frequenz ist. Dies motiviert uns dazu, die Trainings- und Test-Posenkonditionierungsschemata anzupassen, um das Trainingskonvergenz zu beschleunigen und die visuelle und Bewegungsqualität zu verbessern. Anschließend, durch die Untersuchung der Repräsentationen eines bedingungslosen Video-Diffusions-Transformators, stellen wir fest, dass sie implizit eine Kamerapositionsschätzung durchführen, und nur ein Teil ihrer Schichten die Kamerainformationen enthalten. Dies veranlasste uns, die Injektion der Kamerakonditionierung auf einen Teil der Architektur zu beschränken, um Interferenzen mit anderen Video-Merkmalen zu verhindern, was zu einer 4-fachen Reduzierung der Trainingsparameter, einer verbesserten Trainingsschnelligkeit und einer 10% höheren visuellen Qualität führt. Schließlich ergänzen wir das typische Datenset für das Lernen der Kamerasteuerung um ein kuratiertes Datenset von 20.000 verschiedenen dynamischen Videos mit stationären Kameras. Dies hilft dem Modell, den Unterschied zwischen Kamera- und Szenenbewegung zu klären und die Dynamik der generierten posenkonditionierten Videos zu verbessern. Wir kombinieren diese Erkenntnisse, um die Advanced 3D Camera Control (AC3D)-Architektur zu entwerfen, das neue State-of-the-Art-Modell für generative Videomodellierung mit Kamerasteuerung.

English

Numerous works have recently integrated 3D camera control into foundational text-to-video models, but the resulting camera control is often imprecise, and video generation quality suffers. In this work, we analyze camera motion from a first principles perspective, uncovering insights that enable precise 3D camera manipulation without compromising synthesis quality. First, we determine that motion induced by camera movements in videos is low-frequency in nature. This motivates us to adjust train and test pose conditioning schedules, accelerating training convergence while improving visual and motion quality. Then, by probing the representations of an unconditional video diffusion transformer, we observe that they implicitly perform camera pose estimation under the hood, and only a sub-portion of their layers contain the camera information. This suggested us to limit the injection of camera conditioning to a subset of the architecture to prevent interference with other video features, leading to 4x reduction of training parameters, improved training speed and 10% higher visual quality. Finally, we complement the typical dataset for camera control learning with a curated dataset of 20K diverse dynamic videos with stationary cameras. This helps the model disambiguate the difference between camera and scene motion, and improves the dynamics of generated pose-conditioned videos. We compound these findings to design the Advanced 3D Camera Control (AC3D) architecture, the new state-of-the-art model for generative video modeling with camera control.