A aplicação de orientação em um intervalo limitado melhora a qualidade das amostras e da distribuição em modelos de difusão.

Applying Guidance in a Limited Interval Improves Sample and Distribution Quality in Diffusion Models

April 11, 2024

Autores: Tuomas Kynkäänniemi, Miika Aittala, Tero Karras, Samuli Laine, Timo Aila, Jaakko Lehtinen

cs.AI

Resumo

A orientação é uma técnica crucial para extrair o melhor desempenho de modelos de difusão geradores de imagens. Tradicionalmente, um peso de orientação constante tem sido aplicado ao longo da cadeia de amostragem de uma imagem. Mostramos que a orientação é claramente prejudicial no início da cadeia (níveis altos de ruído), em grande parte desnecessária no final (níveis baixos de ruído) e benéfica apenas no meio. Assim, restringimos sua aplicação a um intervalo específico de níveis de ruído, melhorando tanto a velocidade de inferência quanto a qualidade dos resultados. Esse intervalo limitado de orientação melhora significativamente o FID recorde no ImageNet-512, de 1,81 para 1,40. Demonstramos que essa abordagem é quantitativa e qualitativamente benéfica em diferentes parâmetros de amostragem, arquiteturas de rede e conjuntos de dados, incluindo o cenário de grande escala do Stable Diffusion XL. Portanto, sugerimos expor o intervalo de orientação como um hiperparâmetro em todos os modelos de difusão que utilizam orientação.

English

Guidance is a crucial technique for extracting the best performance out of image-generating diffusion models. Traditionally, a constant guidance weight has been applied throughout the sampling chain of an image. We show that guidance is clearly harmful toward the beginning of the chain (high noise levels), largely unnecessary toward the end (low noise levels), and only beneficial in the middle. We thus restrict it to a specific range of noise levels, improving both the inference speed and result quality. This limited guidance interval improves the record FID in ImageNet-512 significantly, from 1.81 to 1.40. We show that it is quantitatively and qualitatively beneficial across different sampler parameters, network architectures, and datasets, including the large-scale setting of Stable Diffusion XL. We thus suggest exposing the guidance interval as a hyperparameter in all diffusion models that use guidance.