CamViG: Camera Bewuste Beeld-naar-Video Generatie met Multimodale Transformers
CamViG: Camera Aware Image-to-Video Generation with Multimodal Transformers
May 21, 2024
Auteurs: Andrew Marmon, Grant Schindler, José Lezama, Dan Kondratyuk, Bryan Seybold, Irfan Essa
cs.AI
Samenvatting
We breiden multimodale transformatoren uit om 3D-camerabeweging op te nemen als een conditionering signaal voor de taak van videogeneratie. Generatieve videomodellen worden steeds krachtiger, waardoor onderzoeksinspanningen zich richten op methoden om de output van dergelijke modellen te beheersen. Wij stellen voor om virtuele 3D-camerabesturing toe te voegen aan generatieve videomethoden door gegenereerde video te conditioneren op een codering van driedimensionale camerabeweging gedurende de gegenereerde video. Resultaten tonen aan dat we (1) in staat zijn om de camera succesvol te besturen tijdens videogeneratie, uitgaande van een enkel frame en een camerasignaal, en (2) we demonstreren de nauwkeurigheid van de gegenereerde 3D-camerapaden met behulp van traditionele computervisiemethoden.
English
We extend multimodal transformers to include 3D camera motion as a
conditioning signal for the task of video generation. Generative video models
are becoming increasingly powerful, thus focusing research efforts on methods
of controlling the output of such models. We propose to add virtual 3D camera
controls to generative video methods by conditioning generated video on an
encoding of three-dimensional camera movement over the course of the generated
video. Results demonstrate that we are (1) able to successfully control the
camera during video generation, starting from a single frame and a camera
signal, and (2) we demonstrate the accuracy of the generated 3D camera paths
using traditional computer vision methods.