AC3D: Análisis y Mejora del Control de Cámara 3D en la Difusión de Video con Transformers

AC3D: Analyzing and Improving 3D Camera Control in Video Diffusion Transformers

November 27, 2024

Autores: Sherwin Bahmani, Ivan Skorokhodov, Guocheng Qian, Aliaksandr Siarohin, Willi Menapace, Andrea Tagliasacchi, David B. Lindell, Sergey Tulyakov

cs.AI

Resumen

Numerosas obras han integrado recientemente el control de cámara 3D en modelos fundamentales de texto a video, pero el control resultante de la cámara a menudo es impreciso y la calidad de generación de video se ve afectada. En este trabajo, analizamos el movimiento de la cámara desde una perspectiva de primeros principios, descubriendo ideas que permiten una manipulación precisa de la cámara 3D sin comprometer la calidad de síntesis. En primer lugar, determinamos que el movimiento inducido por los movimientos de la cámara en los videos es de baja frecuencia. Esto nos motiva a ajustar los horarios de condicionamiento de la postura de entrenamiento y prueba, acelerando la convergencia del entrenamiento al tiempo que mejoramos la calidad visual y de movimiento. Luego, al explorar las representaciones de un transformador de difusión de video incondicional, observamos que implícitamente realizan una estimación de la postura de la cámara bajo el capó, y solo una subsección de sus capas contiene la información de la cámara. Esto nos sugirió limitar la inyección de condicionamiento de cámara a un subconjunto de la arquitectura para evitar interferencias con otras características de video, lo que resultó en una reducción de 4 veces de los parámetros de entrenamiento, una velocidad de entrenamiento mejorada y una calidad visual un 10% mayor. Finalmente, complementamos el conjunto de datos típico para el aprendizaje de control de cámara con un conjunto de datos seleccionado de 20K videos dinámicos diversos con cámaras estacionarias. Esto ayuda al modelo a diferenciar entre el movimiento de la cámara y de la escena, y mejora la dinámica de los videos condicionados por la postura generados. Combinamos estos hallazgos para diseñar la arquitectura de Control Avanzado de Cámara 3D (AC3D), el nuevo modelo de vanguardia para la modelización generativa de video con control de cámara.

English

Numerous works have recently integrated 3D camera control into foundational text-to-video models, but the resulting camera control is often imprecise, and video generation quality suffers. In this work, we analyze camera motion from a first principles perspective, uncovering insights that enable precise 3D camera manipulation without compromising synthesis quality. First, we determine that motion induced by camera movements in videos is low-frequency in nature. This motivates us to adjust train and test pose conditioning schedules, accelerating training convergence while improving visual and motion quality. Then, by probing the representations of an unconditional video diffusion transformer, we observe that they implicitly perform camera pose estimation under the hood, and only a sub-portion of their layers contain the camera information. This suggested us to limit the injection of camera conditioning to a subset of the architecture to prevent interference with other video features, leading to 4x reduction of training parameters, improved training speed and 10% higher visual quality. Finally, we complement the typical dataset for camera control learning with a curated dataset of 20K diverse dynamic videos with stationary cameras. This helps the model disambiguate the difference between camera and scene motion, and improves the dynamics of generated pose-conditioned videos. We compound these findings to design the Advanced 3D Camera Control (AC3D) architecture, the new state-of-the-art model for generative video modeling with camera control.