CamCo: Kamera-steuerbare 3D-konsistente Bild-zu-Video-Generierung

CamCo: Camera-Controllable 3D-Consistent Image-to-Video Generation

June 4, 2024

Autoren: Dejia Xu, Weili Nie, Chao Liu, Sifei Liu, Jan Kautz, Zhangyang Wang, Arash Vahdat

cs.AI

Zusammenfassung

In letzter Zeit sind Videoverbreitungsmodelle als expressive generative Werkzeuge für die Erstellung hochwertiger Videoinhalte aufgetaucht, die allgemeinen Benutzern leicht zugänglich sind. Diese Modelle bieten jedoch oft keine präzise Kontrolle über Kamerapositionen für die Videogenerierung, was die Ausdrucksmöglichkeiten der filmischen Sprache und die Benutzerkontrolle einschränkt. Um dieses Problem zu lösen, stellen wir CamCo vor, das eine feingliedrige Steuerung der Kameraposition für die Bild-zu-Video-Generierung ermöglicht. Wir rüsten einen vorab trainierten Bild-zu-Video-Generator mit genau parametrisierten Kamerapositionseingaben unter Verwendung von Plücker-Koordinaten aus. Um die 3D-Konsistenz in den produzierten Videos zu verbessern, integrieren wir in jeden Aufmerksamkeitsblock ein epipolares Aufmerksamkeitsmodul, das epipolare Einschränkungen auf die Merkmalskarten erzwingt. Darüber hinaus verfeinern wir CamCo anhand von realen Videos mit Kamerapositionen, die durch Struktur-aus-Bewegung-Algorithmen geschätzt wurden, um die Objektbewegung besser zu synthetisieren. Unsere Experimente zeigen, dass CamCo die 3D-Konsistenz und die Kamerasteuerungsfähigkeiten im Vergleich zu früheren Modellen signifikant verbessert, während plausible Objektbewegungen effektiv generiert werden. Projektseite: https://ir1d.github.io/CamCo/

English

Recently video diffusion models have emerged as expressive generative tools for high-quality video content creation readily available to general users. However, these models often do not offer precise control over camera poses for video generation, limiting the expression of cinematic language and user control. To address this issue, we introduce CamCo, which allows fine-grained Camera pose Control for image-to-video generation. We equip a pre-trained image-to-video generator with accurately parameterized camera pose input using Pl\"ucker coordinates. To enhance 3D consistency in the videos produced, we integrate an epipolar attention module in each attention block that enforces epipolar constraints to the feature maps. Additionally, we fine-tune CamCo on real-world videos with camera poses estimated through structure-from-motion algorithms to better synthesize object motion. Our experiments show that CamCo significantly improves 3D consistency and camera control capabilities compared to previous models while effectively generating plausible object motion. Project page: https://ir1d.github.io/CamCo/