Rectification sans réglage du bruit pour une génération image-vidéo de haute fidélité

Tuning-Free Noise Rectification for High Fidelity Image-to-Video Generation

March 5, 2024

Auteurs: Weijie Li, Litong Gong, Yiran Zhu, Fanda Fan, Biao Wang, Tiezheng Ge, Bo Zheng

cs.AI

Résumé

Les tâches de génération image-à-vidéo (I2V) rencontrent toujours des difficultés à maintenir une haute fidélité dans les domaines ouverts. Les techniques traditionnelles d'animation d'images se concentrent principalement sur des domaines spécifiques tels que les visages ou les poses humaines, ce qui les rend difficiles à généraliser aux domaines ouverts. Plusieurs frameworks I2V récents basés sur les modèles de diffusion peuvent générer du contenu dynamique pour des images de domaines ouverts, mais échouent à maintenir la fidélité. Nous avons constaté que deux facteurs principaux de la faible fidélité sont la perte de détails de l'image et les biais de prédiction du bruit pendant le processus de débruitage. Pour remédier à cela, nous proposons une méthode efficace qui peut être appliquée aux principaux modèles de diffusion vidéo. Cette méthode atteint une haute fidélité en complétant des informations d'image plus précises et en rectifiant le bruit. Plus précisément, étant donné une image spécifiée, notre méthode ajoute d'abord du bruit au latent de l'image d'entrée pour conserver plus de détails, puis débruite le latent bruité avec une rectification appropriée pour atténuer les biais de prédiction du bruit. Notre méthode est sans réglage et prête à l'emploi. Les résultats expérimentaux démontrent l'efficacité de notre approche pour améliorer la fidélité des vidéos générées. Pour plus de résultats de génération image-à-vidéo, veuillez consulter le site web du projet : https://noise-rectification.github.io.

English

Image-to-video (I2V) generation tasks always suffer from keeping high fidelity in the open domains. Traditional image animation techniques primarily focus on specific domains such as faces or human poses, making them difficult to generalize to open domains. Several recent I2V frameworks based on diffusion models can generate dynamic content for open domain images but fail to maintain fidelity. We found that two main factors of low fidelity are the loss of image details and the noise prediction biases during the denoising process. To this end, we propose an effective method that can be applied to mainstream video diffusion models. This method achieves high fidelity based on supplementing more precise image information and noise rectification. Specifically, given a specified image, our method first adds noise to the input image latent to keep more details, then denoises the noisy latent with proper rectification to alleviate the noise prediction biases. Our method is tuning-free and plug-and-play. The experimental results demonstrate the effectiveness of our approach in improving the fidelity of generated videos. For more image-to-video generated results, please refer to the project website: https://noise-rectification.github.io.