AC3D: Analisando e Melhorando o Controle de Câmera 3D em Vídeos de Difusão Transformers

AC3D: Analyzing and Improving 3D Camera Control in Video Diffusion Transformers

November 27, 2024

Autores: Sherwin Bahmani, Ivan Skorokhodov, Guocheng Qian, Aliaksandr Siarohin, Willi Menapace, Andrea Tagliasacchi, David B. Lindell, Sergey Tulyakov

cs.AI

Resumo

Recentemente, inúmeros trabalhos integraram o controle de câmera 3D em modelos fundamentais de texto para vídeo, porém o controle resultante da câmera frequentemente é impreciso, e a qualidade de geração de vídeo é prejudicada. Neste trabalho, analisamos o movimento da câmera a partir de uma perspectiva de primeiros princípios, descobrindo insights que possibilitam uma manipulação precisa da câmera 3D sem comprometer a qualidade da síntese. Primeiramente, determinamos que o movimento induzido por movimentos da câmera em vídeos é de baixa frequência. Isso nos motiva a ajustar os cronogramas de condicionamento de pose de treinamento e teste, acelerando a convergência do treinamento enquanto melhoramos a qualidade visual e de movimento. Em seguida, ao investigar as representações de um transformador de difusão de vídeo incondicional, observamos que implicitamente realizam a estimativa de pose da câmera nos bastidores, e apenas uma sub-parte de suas camadas contém as informações da câmera. Isso nos sugeriu limitar a injeção de condicionamento da câmera a um subconjunto da arquitetura para evitar interferência com outras características de vídeo, resultando em uma redução de 4x dos parâmetros de treinamento, melhoria na velocidade de treinamento e 10% a mais de qualidade visual. Por fim, complementamos o conjunto de dados típico para aprendizado de controle de câmera com um conjunto de dados curado de 20 mil vídeos dinâmicos diversos com câmeras estacionárias. Isso ajuda o modelo a distinguir a diferença entre movimento da câmera e da cena, e melhora a dinâmica dos vídeos condicionados por pose gerados. Combinamos essas descobertas para projetar a arquitetura de Controle Avançado de Câmera 3D (AC3D), o novo modelo de última geração para modelagem de vídeo generativa com controle de câmera.

English

Numerous works have recently integrated 3D camera control into foundational text-to-video models, but the resulting camera control is often imprecise, and video generation quality suffers. In this work, we analyze camera motion from a first principles perspective, uncovering insights that enable precise 3D camera manipulation without compromising synthesis quality. First, we determine that motion induced by camera movements in videos is low-frequency in nature. This motivates us to adjust train and test pose conditioning schedules, accelerating training convergence while improving visual and motion quality. Then, by probing the representations of an unconditional video diffusion transformer, we observe that they implicitly perform camera pose estimation under the hood, and only a sub-portion of their layers contain the camera information. This suggested us to limit the injection of camera conditioning to a subset of the architecture to prevent interference with other video features, leading to 4x reduction of training parameters, improved training speed and 10% higher visual quality. Finally, we complement the typical dataset for camera control learning with a curated dataset of 20K diverse dynamic videos with stationary cameras. This helps the model disambiguate the difference between camera and scene motion, and improves the dynamics of generated pose-conditioned videos. We compound these findings to design the Advanced 3D Camera Control (AC3D) architecture, the new state-of-the-art model for generative video modeling with camera control.