Rettifica del Rumore senza Ottimizzazione per la Generazione di Video da Immagini ad Alta Fedeltà

Tuning-Free Noise Rectification for High Fidelity Image-to-Video Generation

March 5, 2024

Autori: Weijie Li, Litong Gong, Yiran Zhu, Fanda Fan, Biao Wang, Tiezheng Ge, Bo Zheng

cs.AI

Abstract

I compiti di generazione da immagine a video (Image-to-Video, I2V) incontrano sempre difficoltà nel mantenere un'elevata fedeltà nei domini aperti. Le tecniche tradizionali di animazione delle immagini si concentrano principalmente su domini specifici come volti o pose umane, rendendole difficili da generalizzare ai domini aperti. Diversi recenti framework I2V basati su modelli di diffusione possono generare contenuti dinamici per immagini di dominio aperto, ma non riescono a mantenere la fedeltà. Abbiamo riscontrato che due fattori principali della bassa fedeltà sono la perdita di dettagli dell'immagine e i bias nella predizione del rumore durante il processo di denoising. A tal fine, proponiamo un metodo efficace che può essere applicato ai principali modelli di diffusione video. Questo metodo raggiunge un'elevata fedeltà basandosi sull'integrazione di informazioni più precise sull'immagine e sulla correzione del rumore. Nello specifico, data un'immagine specificata, il nostro metodo aggiunge prima rumore al latente dell'immagine di input per preservare più dettagli, quindi denoise il latente rumoroso con una correzione appropriata per attenuare i bias nella predizione del rumore. Il nostro metodo è privo di sintonizzazione e plug-and-play. I risultati sperimentali dimostrano l'efficacia del nostro approccio nel migliorare la fedeltà dei video generati. Per ulteriori risultati di generazione da immagine a video, si prega di consultare il sito web del progetto: https://noise-rectification.github.io.

English

Image-to-video (I2V) generation tasks always suffer from keeping high fidelity in the open domains. Traditional image animation techniques primarily focus on specific domains such as faces or human poses, making them difficult to generalize to open domains. Several recent I2V frameworks based on diffusion models can generate dynamic content for open domain images but fail to maintain fidelity. We found that two main factors of low fidelity are the loss of image details and the noise prediction biases during the denoising process. To this end, we propose an effective method that can be applied to mainstream video diffusion models. This method achieves high fidelity based on supplementing more precise image information and noise rectification. Specifically, given a specified image, our method first adds noise to the input image latent to keep more details, then denoises the noisy latent with proper rectification to alleviate the noise prediction biases. Our method is tuning-free and plug-and-play. The experimental results demonstrate the effectiveness of our approach in improving the fidelity of generated videos. For more image-to-video generated results, please refer to the project website: https://noise-rectification.github.io.