Controllo della telecamera senza addestramento per la generazione di video

Training-free Camera Control for Video Generation

June 14, 2024

Autori: Chen Hou, Guoqiang Wei, Yan Zeng, Zhibo Chen

cs.AI

Abstract

Proponiamo una soluzione robusta e senza addestramento per offrire il controllo del movimento della fotocamera a modelli di diffusione video preesistenti. A differenza dei lavori precedenti, il nostro metodo non richiede alcuna messa a punto supervisionata su dataset annotati con informazioni sulla fotocamera o addestramento auto-supervisionato tramite aumento dei dati. Invece, può essere integrato e utilizzato con la maggior parte dei modelli di diffusione video preaddestrati, generando video con controllo della fotocamera utilizzando una singola immagine o un prompt testuale come input. L'ispirazione del nostro lavoro deriva dal prior di layout che i latenti intermedi mantengono verso i risultati generati, pertanto riorganizzare i pixel rumorosi in essi porterà anche a una riallocazione del contenuto in uscita. Poiché il movimento della fotocamera può essere visto come una sorta di riorganizzazione dei pixel causata da un cambiamento di prospettiva, i video potrebbero essere riorganizzati seguendo un movimento specifico della fotocamera se i loro latenti rumorosi cambiano di conseguenza. Basandoci su questo, proponiamo il nostro metodo CamTrol, che abilita un robusto controllo della fotocamera per i modelli di diffusione video. Questo è ottenuto attraverso un processo in due fasi. In primo luogo, modelliamo la riorganizzazione del layout dell'immagine attraverso un movimento esplicito della fotocamera nello spazio delle nuvole di punti 3D. In secondo luogo, generiamo video con movimento della fotocamera utilizzando il prior di layout dei latenti rumorosi formati da una serie di immagini riorganizzate. Esperimenti estensivi hanno dimostrato la robustezza del nostro metodo nel controllare il movimento della fotocamera nei video generati. Inoltre, mostriamo che il nostro metodo può produrre risultati impressionanti nella generazione di video con rotazione 3D e contenuto dinamico. Pagina del progetto all'indirizzo https://lifedecoder.github.io/CamTrol/.

English

We propose a training-free and robust solution to offer camera movement control for off-the-shelf video diffusion models. Unlike previous work, our method does not require any supervised finetuning on camera-annotated datasets or self-supervised training via data augmentation. Instead, it can be plugged and played with most pretrained video diffusion models and generate camera controllable videos with a single image or text prompt as input. The inspiration of our work comes from the layout prior that intermediate latents hold towards generated results, thus rearranging noisy pixels in them will make output content reallocated as well. As camera move could also be seen as a kind of pixel rearrangement caused by perspective change, videos could be reorganized following specific camera motion if their noisy latents change accordingly. Established on this, we propose our method CamTrol, which enables robust camera control for video diffusion models. It is achieved by a two-stage process. First, we model image layout rearrangement through explicit camera movement in 3D point cloud space. Second, we generate videos with camera motion using layout prior of noisy latents formed by a series of rearranged images. Extensive experiments have demonstrated the robustness our method holds in controlling camera motion of generated videos. Furthermore, we show that our method can produce impressive results in generating 3D rotation videos with dynamic content. Project page at https://lifedecoder.github.io/CamTrol/.