CamCo: Camera-bestuurbare 3D-consistente beeld-naar-video generatie

CamCo: Camera-Controllable 3D-Consistent Image-to-Video Generation

June 4, 2024

Auteurs: Dejia Xu, Weili Nie, Chao Liu, Sifei Liu, Jan Kautz, Zhangyang Wang, Arash Vahdat

cs.AI

Samenvatting

Onlangs zijn videodiffusiemodellen naar voren gekomen als expressieve generatieve tools voor het maken van hoogwaardige videocontent die gemakkelijk toegankelijk is voor algemene gebruikers. Deze modellen bieden echter vaak geen nauwkeurige controle over cameraposities voor videogeneratie, wat de expressie van cinematische taal en gebruikerscontrole beperkt. Om dit probleem aan te pakken, introduceren we CamCo, dat fijnmazige controle over cameraposities mogelijk maakt voor beeld-naar-videogeneratie. We voorzien een vooraf getrainde beeld-naar-videogenerator van nauwkeurig geparametriseerde camerapositie-invoer met behulp van Plücker-coördinaten. Om de 3D-consistentie in de geproduceerde video's te verbeteren, integreren we een epipolaire aandachtmodule in elk aandachtblok die epipolaire beperkingen oplegt aan de kenmerkkaarten. Daarnaast fine-tunen we CamCo op real-world video's met cameraposities geschat via structure-from-motion-algoritmen om de beweging van objecten beter te synthetiseren. Onze experimenten tonen aan dat CamCo de 3D-consistentie en cameracontrolecapaciteiten aanzienlijk verbetert in vergelijking met eerdere modellen, terwijl het tegelijkertijd plausibele objectbeweging effectief genereert. Projectpagina: https://ir1d.github.io/CamCo/

English

Recently video diffusion models have emerged as expressive generative tools for high-quality video content creation readily available to general users. However, these models often do not offer precise control over camera poses for video generation, limiting the expression of cinematic language and user control. To address this issue, we introduce CamCo, which allows fine-grained Camera pose Control for image-to-video generation. We equip a pre-trained image-to-video generator with accurately parameterized camera pose input using Pl\"ucker coordinates. To enhance 3D consistency in the videos produced, we integrate an epipolar attention module in each attention block that enforces epipolar constraints to the feature maps. Additionally, we fine-tune CamCo on real-world videos with camera poses estimated through structure-from-motion algorithms to better synthesize object motion. Our experiments show that CamCo significantly improves 3D consistency and camera control capabilities compared to previous models while effectively generating plausible object motion. Project page: https://ir1d.github.io/CamCo/