Ambient Diffusion Omni: Das Trainieren guter Modelle mit schlechten Daten

Ambient Diffusion Omni: Training Good Models with Bad Data

June 10, 2025

Autoren: Giannis Daras, Adrian Rodriguez-Munoz, Adam Klivans, Antonio Torralba, Constantinos Daskalakis

cs.AI

Zusammenfassung

Wir zeigen, wie man qualitativ minderwertige, synthetische und außerhalb der Verteilung liegende Bilder nutzen kann, um die Qualität eines Diffusionsmodells zu verbessern. Typischerweise werden Diffusionsmodelle auf kuratierten Datensätzen trainiert, die aus stark gefilterten Datenpools des Webs und anderen Quellen stammen. Wir zeigen, dass die oft verworfenen, qualitativ niedrigeren Bilder einen immensen Wert besitzen. Wir präsentieren Ambient Diffusion Omni, ein einfaches, prinzipielles Framework, um Diffusionsmodelle zu trainieren, die während des Trainings Signale aus allen verfügbaren Bildern extrahieren können. Unser Framework nutzt zwei Eigenschaften natürlicher Bilder – das spektrale Potenzgesetz des Leistungsabfalls und die Lokalität. Wir validieren unser Framework zunächst, indem wir Diffusionsmodelle erfolgreich mit Bildern trainieren, die synthetisch durch Gaußsche Unschärfe, JPEG-Kompression und Bewegungsunschärfe verfälscht wurden. Anschließend verwenden wir unser Framework, um state-of-the-art ImageNet FID zu erreichen, und zeigen signifikante Verbesserungen sowohl in der Bildqualität als auch in der Vielfalt für die Text-zu-Bild-Generierung. Die zentrale Erkenntnis ist, dass Rauschen die anfängliche Schiefe zwischen der gewünschten hochqualitativen Verteilung und der gemischten Verteilung, die wir tatsächlich beobachten, dämpft. Wir liefern eine strenge theoretische Begründung für unseren Ansatz, indem wir den Kompromiss zwischen dem Lernen aus verzerrten Daten gegenüber begrenzten unverzerrten Daten über verschiedene Diffusionszeiten hinweg analysieren.

English

We show how to use low-quality, synthetic, and out-of-distribution images to improve the quality of a diffusion model. Typically, diffusion models are trained on curated datasets that emerge from highly filtered data pools from the Web and other sources. We show that there is immense value in the lower-quality images that are often discarded. We present Ambient Diffusion Omni, a simple, principled framework to train diffusion models that can extract signal from all available images during training. Our framework exploits two properties of natural images -- spectral power law decay and locality. We first validate our framework by successfully training diffusion models with images synthetically corrupted by Gaussian blur, JPEG compression, and motion blur. We then use our framework to achieve state-of-the-art ImageNet FID, and we show significant improvements in both image quality and diversity for text-to-image generative modeling. The core insight is that noise dampens the initial skew between the desired high-quality distribution and the mixed distribution we actually observe. We provide rigorous theoretical justification for our approach by analyzing the trade-off between learning from biased data versus limited unbiased data across diffusion times.