Afstemmingsvrije ruisreductie voor hoogwaardige beeld-naar-video generatie

Tuning-Free Noise Rectification for High Fidelity Image-to-Video Generation

March 5, 2024

Auteurs: Weijie Li, Litong Gong, Yiran Zhu, Fanda Fan, Biao Wang, Tiezheng Ge, Bo Zheng

cs.AI

Samenvatting

Image-to-video (I2V) generatietaken hebben altijd moeite met het behouden van hoge trouw in open domeinen. Traditionele beeldanimatietechnieken richten zich voornamelijk op specifieke domeinen zoals gezichten of menselijke houdingen, waardoor ze moeilijk te generaliseren zijn naar open domeinen. Verschillende recente I2V-frameworks gebaseerd op diffusiemodellen kunnen dynamische inhoud genereren voor afbeeldingen in open domeinen, maar slagen er niet in om de trouw te behouden. We ontdekten dat twee hoofdfactoren van lage trouw het verlies van beelddetails en de voorspellingsfouten van ruis tijdens het ontruisingsproces zijn. Daarom stellen we een effectieve methode voor die kan worden toegepast op mainstream videodiffusiemodellen. Deze methode bereikt hoge trouw door het aanvullen van nauwkeurigere beeldinformatie en ruiscorrectie. Specifiek, gegeven een bepaalde afbeelding, voegt onze methode eerst ruis toe aan de latente invoerafbeelding om meer details te behouden, waarna de ruisachtige latente waarde wordt ontruist met de juiste correctie om de voorspellingsfouten van ruis te verminderen. Onze methode is afstelmingsvrij en plug-and-play. De experimentele resultaten tonen de effectiviteit van onze aanpak aan bij het verbeteren van de trouw van gegenereerde video's. Voor meer image-to-video gegenereerde resultaten, verwijzen we naar de projectwebsite: https://noise-rectification.github.io.

English

Image-to-video (I2V) generation tasks always suffer from keeping high fidelity in the open domains. Traditional image animation techniques primarily focus on specific domains such as faces or human poses, making them difficult to generalize to open domains. Several recent I2V frameworks based on diffusion models can generate dynamic content for open domain images but fail to maintain fidelity. We found that two main factors of low fidelity are the loss of image details and the noise prediction biases during the denoising process. To this end, we propose an effective method that can be applied to mainstream video diffusion models. This method achieves high fidelity based on supplementing more precise image information and noise rectification. Specifically, given a specified image, our method first adds noise to the input image latent to keep more details, then denoises the noisy latent with proper rectification to alleviate the noise prediction biases. Our method is tuning-free and plug-and-play. The experimental results demonstrate the effectiveness of our approach in improving the fidelity of generated videos. For more image-to-video generated results, please refer to the project website: https://noise-rectification.github.io.