CamCo: Generación de video a partir de imágenes 3D consistente y controlable por cámara

CamCo: Camera-Controllable 3D-Consistent Image-to-Video Generation

June 4, 2024

Autores: Dejia Xu, Weili Nie, Chao Liu, Sifei Liu, Jan Kautz, Zhangyang Wang, Arash Vahdat

cs.AI

Resumen

Recientemente, los modelos de difusión de video han surgido como herramientas generativas expresivas para la creación de contenido de video de alta calidad, fácilmente accesibles para usuarios generales. Sin embargo, estos modelos a menudo no ofrecen un control preciso sobre las poses de la cámara para la generación de video, lo que limita la expresión del lenguaje cinematográfico y el control del usuario. Para abordar este problema, presentamos CamCo, que permite un control detallado de la pose de la cámara para la generación de video a partir de imágenes. Equipamos un generador de video preentrenado con una entrada de pose de cámara parametrizada con precisión utilizando coordenadas de Plücker. Para mejorar la consistencia 3D en los videos producidos, integramos un módulo de atención epipolar en cada bloque de atención que aplica restricciones epipolares a los mapas de características. Además, ajustamos CamCo en videos del mundo real con poses de cámara estimadas mediante algoritmos de estructura a partir del movimiento para sintetizar mejor el movimiento de los objetos. Nuestros experimentos muestran que CamCo mejora significativamente la consistencia 3D y las capacidades de control de la cámara en comparación con modelos anteriores, generando de manera efectiva movimientos de objetos plausibles. Página del proyecto: https://ir1d.github.io/CamCo/

English

Recently video diffusion models have emerged as expressive generative tools for high-quality video content creation readily available to general users. However, these models often do not offer precise control over camera poses for video generation, limiting the expression of cinematic language and user control. To address this issue, we introduce CamCo, which allows fine-grained Camera pose Control for image-to-video generation. We equip a pre-trained image-to-video generator with accurately parameterized camera pose input using Pl\"ucker coordinates. To enhance 3D consistency in the videos produced, we integrate an epipolar attention module in each attention block that enforces epipolar constraints to the feature maps. Additionally, we fine-tune CamCo on real-world videos with camera poses estimated through structure-from-motion algorithms to better synthesize object motion. Our experiments show that CamCo significantly improves 3D consistency and camera control capabilities compared to previous models while effectively generating plausible object motion. Project page: https://ir1d.github.io/CamCo/