CamViG: Генерация изображения в видео с учетом камеры с помощью мультимодальных трансформеров

CamViG: Camera Aware Image-to-Video Generation with Multimodal Transformers

May 21, 2024

Авторы: Andrew Marmon, Grant Schindler, José Lezama, Dan Kondratyuk, Bryan Seybold, Irfan Essa

cs.AI

Аннотация

Мы расширяем мультимодальные трансформеры, чтобы включить 3D движение камеры в качестве условного сигнала для задачи генерации видео. Генеративные модели видео становятся все более мощными, поэтому усилия в исследованиях сосредотачиваются на методах управления выводом таких моделей. Мы предлагаем добавить виртуальное управление 3D камерой к генеративным методам видео, условиями генерации видео на кодировании трехмерного движения камеры на протяжении создаваемого видео. Результаты показывают, что мы (1) способны успешно управлять камерой во время генерации видео, начиная с одного кадра и сигнала камеры, и (2) мы демонстрируем точность сгенерированных 3D траекторий камеры с использованием традиционных методов компьютерного зрения.

English

We extend multimodal transformers to include 3D camera motion as a conditioning signal for the task of video generation. Generative video models are becoming increasingly powerful, thus focusing research efforts on methods of controlling the output of such models. We propose to add virtual 3D camera controls to generative video methods by conditioning generated video on an encoding of three-dimensional camera movement over the course of the generated video. Results demonstrate that we are (1) able to successfully control the camera during video generation, starting from a single frame and a camera signal, and (2) we demonstrate the accuracy of the generated 3D camera paths using traditional computer vision methods.