CamCo : Génération vidéo à partir d'images en 3D cohérente et contrôlable par caméra

CamCo: Camera-Controllable 3D-Consistent Image-to-Video Generation

June 4, 2024

Auteurs: Dejia Xu, Weili Nie, Chao Liu, Sifei Liu, Jan Kautz, Zhangyang Wang, Arash Vahdat

cs.AI

Résumé

Récemment, les modèles de diffusion vidéo sont apparus comme des outils génératifs expressifs pour la création de contenus vidéo de haute qualité, facilement accessibles aux utilisateurs grand public. Cependant, ces modèles n'offrent souvent pas un contrôle précis des poses de caméra pour la génération de vidéos, limitant ainsi l'expression du langage cinématographique et le contrôle de l'utilisateur. Pour résoudre ce problème, nous présentons CamCo, qui permet un contrôle granulaire des poses de caméra pour la génération d'images à vidéo. Nous équipons un générateur d'images à vidéo pré-entraîné avec une entrée de pose de caméra paramétrée avec précision en utilisant les coordonnées de Plücker. Pour améliorer la cohérence 3D dans les vidéos produites, nous intégrons un module d'attention épipolaire dans chaque bloc d'attention, qui impose des contraintes épipolaires aux cartes de caractéristiques. De plus, nous affinons CamCo sur des vidéos du monde réel avec des poses de caméra estimées grâce à des algorithmes de structure-from-motion pour mieux synthétiser le mouvement des objets. Nos expériences montrent que CamCo améliore significativement la cohérence 3D et les capacités de contrôle de la caméra par rapport aux modèles précédents, tout en générant efficacement des mouvements d'objets plausibles. Page du projet : https://ir1d.github.io/CamCo/

English

Recently video diffusion models have emerged as expressive generative tools for high-quality video content creation readily available to general users. However, these models often do not offer precise control over camera poses for video generation, limiting the expression of cinematic language and user control. To address this issue, we introduce CamCo, which allows fine-grained Camera pose Control for image-to-video generation. We equip a pre-trained image-to-video generator with accurately parameterized camera pose input using Pl\"ucker coordinates. To enhance 3D consistency in the videos produced, we integrate an epipolar attention module in each attention block that enforces epipolar constraints to the feature maps. Additionally, we fine-tune CamCo on real-world videos with camera poses estimated through structure-from-motion algorithms to better synthesize object motion. Our experiments show that CamCo significantly improves 3D consistency and camera control capabilities compared to previous models while effectively generating plausible object motion. Project page: https://ir1d.github.io/CamCo/