Controle de Câmera sem Treinamento para Geração de Vídeo

Training-free Camera Control for Video Generation

June 14, 2024

Autores: Chen Hou, Guoqiang Wei, Yan Zeng, Zhibo Chen

cs.AI

Resumo

Propomos uma solução robusta e livre de treinamento para oferecer controle de movimento de câmera em modelos de difusão de vídeo prontos para uso. Diferentemente de trabalhos anteriores, nosso método não requer ajuste supervisionado em conjuntos de dados anotados com câmera nem treinamento auto-supervisionado por meio de aumento de dados. Em vez disso, ele pode ser conectado e utilizado com a maioria dos modelos de difusão de vídeo pré-treinados, gerando vídeos com controle de câmera a partir de uma única imagem ou prompt de texto como entrada. A inspiração para nosso trabalho vem do conhecimento prévio de layout que os latentes intermediários mantêm em relação aos resultados gerados, de modo que reorganizar os pixels ruidosos neles também realocará o conteúdo de saída. Como o movimento da câmera pode ser visto como uma forma de rearranjo de pixels causado por mudanças de perspectiva, os vídeos podem ser reorganizados seguindo um movimento específico da câmera se seus latentes ruidosos mudarem de acordo. Com base nisso, propomos nosso método CamTrol, que permite um controle robusto da câmera em modelos de difusão de vídeo. Isso é alcançado por meio de um processo em duas etapas. Primeiro, modelamos o rearranjo do layout da imagem por meio de movimentos explícitos da câmera no espaço de nuvem de pontos 3D. Em seguida, geramos vídeos com movimento de câmera usando o conhecimento prévio de layout dos latentes ruidosos formados por uma série de imagens rearranjadas. Experimentos extensivos demonstraram a robustez do nosso método no controle do movimento da câmera em vídeos gerados. Além disso, mostramos que nosso método pode produzir resultados impressionantes na geração de vídeos com rotação 3D e conteúdo dinâmico. Página do projeto em https://lifedecoder.github.io/CamTrol/.

English

We propose a training-free and robust solution to offer camera movement control for off-the-shelf video diffusion models. Unlike previous work, our method does not require any supervised finetuning on camera-annotated datasets or self-supervised training via data augmentation. Instead, it can be plugged and played with most pretrained video diffusion models and generate camera controllable videos with a single image or text prompt as input. The inspiration of our work comes from the layout prior that intermediate latents hold towards generated results, thus rearranging noisy pixels in them will make output content reallocated as well. As camera move could also be seen as a kind of pixel rearrangement caused by perspective change, videos could be reorganized following specific camera motion if their noisy latents change accordingly. Established on this, we propose our method CamTrol, which enables robust camera control for video diffusion models. It is achieved by a two-stage process. First, we model image layout rearrangement through explicit camera movement in 3D point cloud space. Second, we generate videos with camera motion using layout prior of noisy latents formed by a series of rearranged images. Extensive experiments have demonstrated the robustness our method holds in controlling camera motion of generated videos. Furthermore, we show that our method can produce impressive results in generating 3D rotation videos with dynamic content. Project page at https://lifedecoder.github.io/CamTrol/.