CamViG: Generazione Video da Immagine con Consapevolezza della Fotocamera tramite Trasformatori Multimodali
CamViG: Camera Aware Image-to-Video Generation with Multimodal Transformers
May 21, 2024
Autori: Andrew Marmon, Grant Schindler, José Lezama, Dan Kondratyuk, Bryan Seybold, Irfan Essa
cs.AI
Abstract
Estendiamo i trasformatori multimodali per includere il movimento della telecamera 3D come segnale di condizionamento per il compito di generazione video. I modelli generativi di video stanno diventando sempre più potenti, concentrando così gli sforzi di ricerca su metodi per controllare l'output di tali modelli. Proponiamo di aggiungere controlli virtuali della telecamera 3D ai metodi generativi di video condizionando il video generato su una codifica del movimento tridimensionale della telecamera durante il corso del video generato. I risultati dimostrano che siamo (1) in grado di controllare con successo la telecamera durante la generazione del video, partendo da un singolo fotogramma e da un segnale della telecamera, e (2) dimostriamo l'accuratezza dei percorsi generati della telecamera 3D utilizzando metodi tradizionali di visione artificiale.
English
We extend multimodal transformers to include 3D camera motion as a
conditioning signal for the task of video generation. Generative video models
are becoming increasingly powerful, thus focusing research efforts on methods
of controlling the output of such models. We propose to add virtual 3D camera
controls to generative video methods by conditioning generated video on an
encoding of three-dimensional camera movement over the course of the generated
video. Results demonstrate that we are (1) able to successfully control the
camera during video generation, starting from a single frame and a camera
signal, and (2) we demonstrate the accuracy of the generated 3D camera paths
using traditional computer vision methods.