AC3D : Analyse et amélioration du contrôle de caméra 3D dans les Transformateurs de diffusion vidéo

AC3D: Analyzing and Improving 3D Camera Control in Video Diffusion Transformers

November 27, 2024

Auteurs: Sherwin Bahmani, Ivan Skorokhodov, Guocheng Qian, Aliaksandr Siarohin, Willi Menapace, Andrea Tagliasacchi, David B. Lindell, Sergey Tulyakov

cs.AI

Résumé

De nombreux travaux ont récemment intégré le contrôle de caméra 3D dans les modèles fondamentaux de texte-vidéo, mais le contrôle de caméra résultant est souvent imprécis, et la qualité de génération de vidéo en souffre. Dans ce travail, nous analysons le mouvement de la caméra d'un point de vue des premiers principes, découvrant des idées qui permettent une manipulation précise de la caméra 3D sans compromettre la qualité de synthèse. Tout d'abord, nous déterminons que le mouvement induit par les mouvements de la caméra dans les vidéos est de nature basse fréquence. Cela nous motive à ajuster les horaires de conditionnement de pose d'entraînement et de test, accélérant la convergence de l'entraînement tout en améliorant la qualité visuelle et de mouvement. Ensuite, en sondant les représentations d'un transformateur de diffusion vidéo inconditionnel, nous observons qu'ils effectuent implicitement une estimation de la pose de la caméra en interne, et seulement une sous-portion de leurs couches contiennent les informations de la caméra. Cela nous a suggéré de limiter l'injection du conditionnement de la caméra à un sous-ensemble de l'architecture pour éviter les interférences avec d'autres caractéristiques vidéo, ce qui entraîne une réduction de 4 fois des paramètres d'entraînement, une amélioration de la vitesse d'entraînement et une qualité visuelle supérieure de 10%. Enfin, nous complétons l'ensemble de données typique pour l'apprentissage du contrôle de la caméra avec un ensemble de données organisé de 20 000 vidéos dynamiques diverses avec des caméras stationnaires. Cela aide le modèle à dissocier la différence entre le mouvement de la caméra et de la scène, et améliore la dynamique des vidéos conditionnées par la pose générées. Nous combinons ces découvertes pour concevoir l'architecture de Contrôle de Caméra 3D Avancé (AC3D), le nouveau modèle de pointe pour la modélisation vidéo générative avec contrôle de caméra.

English

Numerous works have recently integrated 3D camera control into foundational text-to-video models, but the resulting camera control is often imprecise, and video generation quality suffers. In this work, we analyze camera motion from a first principles perspective, uncovering insights that enable precise 3D camera manipulation without compromising synthesis quality. First, we determine that motion induced by camera movements in videos is low-frequency in nature. This motivates us to adjust train and test pose conditioning schedules, accelerating training convergence while improving visual and motion quality. Then, by probing the representations of an unconditional video diffusion transformer, we observe that they implicitly perform camera pose estimation under the hood, and only a sub-portion of their layers contain the camera information. This suggested us to limit the injection of camera conditioning to a subset of the architecture to prevent interference with other video features, leading to 4x reduction of training parameters, improved training speed and 10% higher visual quality. Finally, we complement the typical dataset for camera control learning with a curated dataset of 20K diverse dynamic videos with stationary cameras. This helps the model disambiguate the difference between camera and scene motion, and improves the dynamics of generated pose-conditioned videos. We compound these findings to design the Advanced 3D Camera Control (AC3D) architecture, the new state-of-the-art model for generative video modeling with camera control.