AC3D: Analyse en Verbetering van 3D Cameracontrole in Videoverspreidingstransformatoren

Samenvatting

Recentelijk hebben tal van werken 3D camerabesturing geïntegreerd in fundamentele tekst-naar-video modellen, maar de resulterende camerabesturing is vaak onnauwkeurig, wat de kwaliteit van de videoproductie schaadt. In dit werk analyseren we camerabewegingen vanuit een eerstprincipes-perspectief, waarbij we inzichten blootleggen die precieze 3D cameramanipulatie mogelijk maken zonder de synthese kwaliteit in gevaar te brengen. Allereerst bepalen we dat de beweging veroorzaakt door camerabewegingen in video's van lage frequentie is. Dit motiveert ons om de trainings- en testpose-conditioneringsschema's aan te passen, waardoor de trainingsconvergentie wordt versneld en de visuele en bewegingskwaliteit verbeteren. Vervolgens, door de representaties van een onvoorwaardelijke video-diffusie-transformator te onderzoeken, observeren we dat ze impliciet camerapositieschatting uitvoeren onder de motorkap, en dat slechts een deel van hun lagen de camerainformatie bevat. Dit suggereerde ons om de injectie van camerabesturing te beperken tot een subset van de architectuur om interferentie met andere videofuncties te voorkomen, wat resulteerde in een 4x reductie van trainingsparameters, verbeterde trainingsnelheid en 10% hogere visuele kwaliteit. Ten slotte vullen we de typische dataset voor het leren van camerabesturing aan met een samengestelde dataset van 20K diverse dynamische video's met stilstaande camera's. Dit helpt het model om het verschil tussen camerabeweging en scènebeweging te onderscheiden, en verbetert de dynamiek van gegenereerde pose-geconditioneerde video's. We combineren deze bevindingen om de Advanced 3D Camera Control (AC3D) architectuur te ontwerpen, het nieuwe state-of-the-art model voor generatieve videomodellering met camerabesturing.

English

Numerous works have recently integrated 3D camera control into foundational text-to-video models, but the resulting camera control is often imprecise, and video generation quality suffers. In this work, we analyze camera motion from a first principles perspective, uncovering insights that enable precise 3D camera manipulation without compromising synthesis quality. First, we determine that motion induced by camera movements in videos is low-frequency in nature. This motivates us to adjust train and test pose conditioning schedules, accelerating training convergence while improving visual and motion quality. Then, by probing the representations of an unconditional video diffusion transformer, we observe that they implicitly perform camera pose estimation under the hood, and only a sub-portion of their layers contain the camera information. This suggested us to limit the injection of camera conditioning to a subset of the architecture to prevent interference with other video features, leading to 4x reduction of training parameters, improved training speed and 10% higher visual quality. Finally, we complement the typical dataset for camera control learning with a curated dataset of 20K diverse dynamic videos with stationary cameras. This helps the model disambiguate the difference between camera and scene motion, and improves the dynamics of generated pose-conditioned videos. We compound these findings to design the Advanced 3D Camera Control (AC3D) architecture, the new state-of-the-art model for generative video modeling with camera control.

AC3D: Analyse en Verbetering van 3D Cameracontrole in Videoverspreidingstransformatoren

AC3D: Analyzing and Improving 3D Camera Control in Video Diffusion Transformers

Samenvatting

Support