Un Bruit Vaut un Guidage par Diffusion

A Noise is Worth Diffusion Guidance

December 5, 2024

Auteurs: Donghoon Ahn, Jiwon Kang, Sanghyun Lee, Jaewon Min, Minjae Kim, Wooseok Jang, Hyoungwon Cho, Sayak Paul, SeonHwa Kim, Eunju Cha, Kyong Hwan Jin, Seungryong Kim

cs.AI

Résumé

Les modèles de diffusion excellent dans la génération d'images de haute qualité. Cependant, les modèles de diffusion actuels ont du mal à produire des images fiables sans méthodes de guidage, telles que le guidage sans classificateur (CFG). Les méthodes de guidage sont-elles vraiment nécessaires ? En observant que le bruit obtenu via l'inversion de la diffusion peut reconstruire des images de haute qualité sans guidage, nous nous concentrons sur le bruit initial du pipeline de débruitage. En cartographiant le bruit gaussien en "bruit sans guidage", nous découvrons que de petits composants de basse fréquence de faible magnitude améliorent significativement le processus de débruitage, éliminant ainsi le besoin de guidage et améliorant à la fois le débit d'inférence et la mémoire. Pour approfondir ce sujet, nous proposons \ours, une méthode novatrice qui remplace les méthodes de guidage par un seul affinement du bruit initial. Ce bruit affiné permet la génération d'images de haute qualité sans guidage, au sein du même pipeline de diffusion. Notre modèle de raffinement du bruit exploite l'apprentissage efficace de l'espace de bruit, atteignant une convergence rapide et de fortes performances avec seulement 50 000 paires texte-image. Nous validons son efficacité à travers diverses mesures et analysons comment le bruit affiné peut éliminer le besoin de guidage. Consultez notre page de projet : https://cvlab-kaist.github.io/NoiseRefine/.

English

Diffusion models excel in generating high-quality images. However, current diffusion models struggle to produce reliable images without guidance methods, such as classifier-free guidance (CFG). Are guidance methods truly necessary? Observing that noise obtained via diffusion inversion can reconstruct high-quality images without guidance, we focus on the initial noise of the denoising pipeline. By mapping Gaussian noise to `guidance-free noise', we uncover that small low-magnitude low-frequency components significantly enhance the denoising process, removing the need for guidance and thus improving both inference throughput and memory. Expanding on this, we propose \ours, a novel method that replaces guidance methods with a single refinement of the initial noise. This refined noise enables high-quality image generation without guidance, within the same diffusion pipeline. Our noise-refining model leverages efficient noise-space learning, achieving rapid convergence and strong performance with just 50K text-image pairs. We validate its effectiveness across diverse metrics and analyze how refined noise can eliminate the need for guidance. See our project page: https://cvlab-kaist.github.io/NoiseRefine/.