La aplicación de guía en un intervalo limitado mejora la calidad de las muestras y la distribución en modelos de difusión.

Applying Guidance in a Limited Interval Improves Sample and Distribution Quality in Diffusion Models

April 11, 2024

Autores: Tuomas Kynkäänniemi, Miika Aittala, Tero Karras, Samuli Laine, Timo Aila, Jaakko Lehtinen

cs.AI

Resumen

La guía es una técnica crucial para extraer el mejor rendimiento de los modelos de difusión generadores de imágenes. Tradicionalmente, se ha aplicado un peso de guía constante a lo largo de la cadena de muestreo de una imagen. Demostramos que la guía es claramente perjudicial al inicio de la cadena (niveles altos de ruido), en gran medida innecesaria hacia el final (niveles bajos de ruido), y solo beneficiosa en el medio. Por lo tanto, la restringimos a un rango específico de niveles de ruido, mejorando tanto la velocidad de inferencia como la calidad de los resultados. Este intervalo de guía limitado mejora significativamente el récord de FID en ImageNet-512, pasando de 1.81 a 1.40. Demostramos que es cuantitativa y cualitativamente beneficioso en diferentes parámetros de muestreo, arquitecturas de red y conjuntos de datos, incluyendo el entorno a gran escala de Stable Diffusion XL. Por lo tanto, sugerimos exponer el intervalo de guía como un hiperparámetro en todos los modelos de difusión que utilizan guía.

English

Guidance is a crucial technique for extracting the best performance out of image-generating diffusion models. Traditionally, a constant guidance weight has been applied throughout the sampling chain of an image. We show that guidance is clearly harmful toward the beginning of the chain (high noise levels), largely unnecessary toward the end (low noise levels), and only beneficial in the middle. We thus restrict it to a specific range of noise levels, improving both the inference speed and result quality. This limited guidance interval improves the record FID in ImageNet-512 significantly, from 1.81 to 1.40. We show that it is quantitatively and qualitatively beneficial across different sampler parameters, network architectures, and datasets, including the large-scale setting of Stable Diffusion XL. We thus suggest exposing the guidance interval as a hyperparameter in all diffusion models that use guidance.