Ambient Diffusion Omni: Treinando Modelos de Qualidade com Dados de Baixa Qualidade

Ambient Diffusion Omni: Training Good Models with Bad Data

June 10, 2025

Autores: Giannis Daras, Adrian Rodriguez-Munoz, Adam Klivans, Antonio Torralba, Constantinos Daskalakis

cs.AI

Resumo

Demonstramos como utilizar imagens de baixa qualidade, sintéticas e fora da distribuição para melhorar a qualidade de um modelo de difusão. Geralmente, os modelos de difusão são treinados em conjuntos de dados curados que surgem de pools de dados altamente filtrados da Web e de outras fontes. Mostramos que há um valor imenso nas imagens de menor qualidade que frequentemente são descartadas. Apresentamos o Ambient Diffusion Omni, um framework simples e fundamentado para treinar modelos de difusão que podem extrair sinal de todas as imagens disponíveis durante o treinamento. Nosso framework explora duas propriedades das imagens naturais — o decaimento espectral da lei de potência e a localidade. Primeiro, validamos nosso framework ao treinar com sucesso modelos de difusão com imagens sinteticamente corrompidas por desfoque gaussiano, compressão JPEG e desfoque de movimento. Em seguida, utilizamos nosso framework para alcançar o estado da arte em FID no ImageNet, e mostramos melhorias significativas tanto na qualidade quanto na diversidade das imagens na modelagem generativa de texto para imagem. A percepção central é que o ruído atenua a distorção inicial entre a distribuição de alta qualidade desejada e a distribuição mista que realmente observamos. Fornecemos uma justificativa teórica rigorosa para nossa abordagem ao analisar a compensação entre aprender de dados tendenciosos versus dados não tendenciosos limitados ao longo dos tempos de difusão.

English

We show how to use low-quality, synthetic, and out-of-distribution images to improve the quality of a diffusion model. Typically, diffusion models are trained on curated datasets that emerge from highly filtered data pools from the Web and other sources. We show that there is immense value in the lower-quality images that are often discarded. We present Ambient Diffusion Omni, a simple, principled framework to train diffusion models that can extract signal from all available images during training. Our framework exploits two properties of natural images -- spectral power law decay and locality. We first validate our framework by successfully training diffusion models with images synthetically corrupted by Gaussian blur, JPEG compression, and motion blur. We then use our framework to achieve state-of-the-art ImageNet FID, and we show significant improvements in both image quality and diversity for text-to-image generative modeling. The core insight is that noise dampens the initial skew between the desired high-quality distribution and the mixed distribution we actually observe. We provide rigorous theoretical justification for our approach by analyzing the trade-off between learning from biased data versus limited unbiased data across diffusion times.