CamCo: Geração de Vídeo a partir de Imagem 3D-Consistente Controlável por Câmera
CamCo: Camera-Controllable 3D-Consistent Image-to-Video Generation
June 4, 2024
Autores: Dejia Xu, Weili Nie, Chao Liu, Sifei Liu, Jan Kautz, Zhangyang Wang, Arash Vahdat
cs.AI
Resumo
Recentemente, modelos de difusão de vídeo surgiram como ferramentas generativas expressivas para a criação de conteúdo de vídeo de alta qualidade, facilmente acessíveis a usuários em geral. No entanto, esses modelos frequentemente não oferecem controle preciso sobre as poses da câmera para a geração de vídeos, limitando a expressão da linguagem cinematográfica e o controle do usuário. Para resolver esse problema, introduzimos o CamCo, que permite um controle refinado da pose da câmera para a geração de vídeos a partir de imagens. Equipamos um gerador de vídeo a partir de imagens pré-treinado com entradas de pose da câmera parametrizadas com precisão usando coordenadas de Plücker. Para melhorar a consistência 3D nos vídeos produzidos, integramos um módulo de atenção epipolar em cada bloco de atenção que impõe restrições epipolares aos mapas de características. Além disso, ajustamos o CamCo em vídeos do mundo real com poses de câmera estimadas por meio de algoritmos de estrutura a partir do movimento, para melhor sintetizar o movimento dos objetos. Nossos experimentos mostram que o CamCo melhora significativamente a consistência 3D e as capacidades de controle da câmera em comparação com modelos anteriores, enquanto gera de forma eficaz movimentos plausíveis dos objetos. Página do projeto: https://ir1d.github.io/CamCo/
English
Recently video diffusion models have emerged as expressive generative tools
for high-quality video content creation readily available to general users.
However, these models often do not offer precise control over camera poses for
video generation, limiting the expression of cinematic language and user
control. To address this issue, we introduce CamCo, which allows fine-grained
Camera pose Control for image-to-video generation. We equip a pre-trained
image-to-video generator with accurately parameterized camera pose input using
Pl\"ucker coordinates. To enhance 3D consistency in the videos produced, we
integrate an epipolar attention module in each attention block that enforces
epipolar constraints to the feature maps. Additionally, we fine-tune CamCo on
real-world videos with camera poses estimated through structure-from-motion
algorithms to better synthesize object motion. Our experiments show that CamCo
significantly improves 3D consistency and camera control capabilities compared
to previous models while effectively generating plausible object motion.
Project page: https://ir1d.github.io/CamCo/