Contrôle de caméra sans apprentissage pour la génération de vidéos

Training-free Camera Control for Video Generation

June 14, 2024

Auteurs: Chen Hou, Guoqiang Wei, Yan Zeng, Zhibo Chen

cs.AI

Résumé

Nous proposons une solution robuste et ne nécessitant pas d'entraînement pour offrir un contrôle des mouvements de caméra aux modèles de diffusion vidéo prêts à l'emploi. Contrairement aux travaux précédents, notre méthode ne nécessite aucun ajustement supervisé sur des ensembles de données annotés pour la caméra ni d'entraînement auto-supervisé via l'augmentation de données. Au lieu de cela, elle peut être intégrée et utilisée avec la plupart des modèles de diffusion vidéo pré-entraînés, générant des vidéos contrôlables par la caméra avec une seule image ou un texte comme entrée. L'inspiration de notre travail provient de la priorité de mise en page que les latents intermédiaires détiennent envers les résultats générés, ce qui signifie que réorganiser les pixels bruités dans ces latents entraînera également une réallocation du contenu en sortie. Puisque le mouvement de la caméra peut également être vu comme une forme de réarrangement de pixels causé par un changement de perspective, les vidéos pourraient être réorganisées suivant un mouvement spécifique de la caméra si leurs latents bruités changent en conséquence. Basé sur cela, nous proposons notre méthode CamTrol, qui permet un contrôle robuste de la caméra pour les modèles de diffusion vidéo. Cela est réalisé par un processus en deux étapes. Premièrement, nous modélisons le réarrangement de la mise en page de l'image à travers un mouvement explicite de la caméra dans l'espace des nuages de points 3D. Deuxièmement, nous générons des vidéos avec un mouvement de caméra en utilisant la priorité de mise en page des latents bruités formés par une série d'images réarrangées. Des expériences approfondies ont démontré la robustesse de notre méthode dans le contrôle du mouvement de la caméra des vidéos générées. De plus, nous montrons que notre méthode peut produire des résultats impressionnants dans la génération de vidéos de rotation 3D avec un contenu dynamique. Page du projet à https://lifedecoder.github.io/CamTrol/.

English

We propose a training-free and robust solution to offer camera movement control for off-the-shelf video diffusion models. Unlike previous work, our method does not require any supervised finetuning on camera-annotated datasets or self-supervised training via data augmentation. Instead, it can be plugged and played with most pretrained video diffusion models and generate camera controllable videos with a single image or text prompt as input. The inspiration of our work comes from the layout prior that intermediate latents hold towards generated results, thus rearranging noisy pixels in them will make output content reallocated as well. As camera move could also be seen as a kind of pixel rearrangement caused by perspective change, videos could be reorganized following specific camera motion if their noisy latents change accordingly. Established on this, we propose our method CamTrol, which enables robust camera control for video diffusion models. It is achieved by a two-stage process. First, we model image layout rearrangement through explicit camera movement in 3D point cloud space. Second, we generate videos with camera motion using layout prior of noisy latents formed by a series of rearranged images. Extensive experiments have demonstrated the robustness our method holds in controlling camera motion of generated videos. Furthermore, we show that our method can produce impressive results in generating 3D rotation videos with dynamic content. Project page at https://lifedecoder.github.io/CamTrol/.