AC3D: Анализ и улучшение управления 3D-камерой в видео-трансформерах

AC3D: Analyzing and Improving 3D Camera Control in Video Diffusion Transformers

November 27, 2024

Авторы: Sherwin Bahmani, Ivan Skorokhodov, Guocheng Qian, Aliaksandr Siarohin, Willi Menapace, Andrea Tagliasacchi, David B. Lindell, Sergey Tulyakov

cs.AI

Аннотация

В последние время во многих работах было внедрено управление 3D-камерой в основные модели текст-видео, однако полученное управление камерой часто недостаточно точно, что отрицательно сказывается на качестве генерируемого видео. В данной работе мы анализируем движение камеры с точки зрения первых принципов, выявляя идеи, которые позволяют осуществлять точное 3D-управление камерой без ущерба для качества синтеза. Во-первых, мы определяем, что движение, вызванное движениями камеры в видео, имеет низкочастотный характер. Это мотивирует нас настройкой графика обучения и тестирования поз, ускоряя сходимость обучения и улучшая визуальное и движущееся качество. Затем, исследуя представления безусловного видео-трансформера диффузии, мы замечаем, что они неявно выполняют оценку позы камеры под капотом, и только подмножество их слоев содержат информацию о камере. Это побудило нас ограничить инъекцию условий камеры до подмножества архитектуры, чтобы избежать вмешательства в другие видео-функции, что привело к уменьшению количества параметров обучения в 4 раза, улучшению скорости обучения и на 10% выше визуального качества. Наконец, мы дополняем типичный набор данных для обучения управления камерой кураторским набором данных из 20 тыс. разнообразных динамических видео со стационарными камерами. Это помогает модели различить разницу между движением камеры и сцены, и улучшает динамику генерируемых видео с условиями позы. Мы объединяем эти результаты для разработки архитектуры Advanced 3D Camera Control (AC3D), новой передовой модели для генеративного моделирования видео с управлением камерой.

English

Numerous works have recently integrated 3D camera control into foundational text-to-video models, but the resulting camera control is often imprecise, and video generation quality suffers. In this work, we analyze camera motion from a first principles perspective, uncovering insights that enable precise 3D camera manipulation without compromising synthesis quality. First, we determine that motion induced by camera movements in videos is low-frequency in nature. This motivates us to adjust train and test pose conditioning schedules, accelerating training convergence while improving visual and motion quality. Then, by probing the representations of an unconditional video diffusion transformer, we observe that they implicitly perform camera pose estimation under the hood, and only a sub-portion of their layers contain the camera information. This suggested us to limit the injection of camera conditioning to a subset of the architecture to prevent interference with other video features, leading to 4x reduction of training parameters, improved training speed and 10% higher visual quality. Finally, we complement the typical dataset for camera control learning with a curated dataset of 20K diverse dynamic videos with stationary cameras. This helps the model disambiguate the difference between camera and scene motion, and improves the dynamics of generated pose-conditioned videos. We compound these findings to design the Advanced 3D Camera Control (AC3D) architecture, the new state-of-the-art model for generative video modeling with camera control.