CamViG: Kamera-bewusste Bild-zu-Video-Erzeugung mit multimodalen Transformatoren

CamViG: Camera Aware Image-to-Video Generation with Multimodal Transformers

May 21, 2024

Autoren: Andrew Marmon, Grant Schindler, José Lezama, Dan Kondratyuk, Bryan Seybold, Irfan Essa

cs.AI

Zusammenfassung

Wir erweitern multimodale Transformer, um 3D-Kamerabewegungen als Konditionierungssignal für die Aufgabe der Videogenerierung einzubeziehen. Generative Videomodelle werden zunehmend leistungsfähiger, wodurch Forschungsanstrengungen auf Methoden zur Steuerung der Ausgabe solcher Modelle gerichtet werden. Wir schlagen vor, virtuelle 3D-Kamerasteuerungen zu generativen Videomethoden hinzuzufügen, indem das generierte Video an einer Kodierung der dreidimensionalen Kamerabewegung im Verlauf des generierten Videos konditioniert wird. Die Ergebnisse zeigen, dass wir (1) in der Lage sind, die Kamera während der Videogenerierung erfolgreich zu steuern, ausgehend von einem einzigen Frame und einem Kamerasignal, und (2) wir die Genauigkeit der generierten 3D-Kamerapfade mithilfe traditioneller Methoden der Computer Vision demonstrieren.

English

We extend multimodal transformers to include 3D camera motion as a conditioning signal for the task of video generation. Generative video models are becoming increasingly powerful, thus focusing research efforts on methods of controlling the output of such models. We propose to add virtual 3D camera controls to generative video methods by conditioning generated video on an encoding of three-dimensional camera movement over the course of the generated video. Results demonstrate that we are (1) able to successfully control the camera during video generation, starting from a single frame and a camera signal, and (2) we demonstrate the accuracy of the generated 3D camera paths using traditional computer vision methods.