Применение руководства в ограниченном интервале улучшает качество выборки и распределения в моделях диффузии.

Applying Guidance in a Limited Interval Improves Sample and Distribution Quality in Diffusion Models

April 11, 2024

Авторы: Tuomas Kynkäänniemi, Miika Aittala, Tero Karras, Samuli Laine, Timo Aila, Jaakko Lehtinen

cs.AI

Аннотация

Руководство - это важная техника для извлечения наилучшей производительности из моделей диффузии, генерирующих изображения. Традиционно по всей цепочке выборки изображения применялся постоянный вес руководства. Мы показываем, что руководство явно вредно в начале цепочки (высокие уровни шума), в значительной степени излишне в конце (низкие уровни шума) и полезно только в середине. Мы ограничиваем его до определенного диапазона уровней шума, улучшая как скорость вывода, так и качество результата. Этот ограниченный интервал руководства значительно улучшает рекорд FID в ImageNet-512, с 1,81 до 1,40. Мы показываем, что это количественно и качественно полезно при различных параметрах сэмплера, архитектурах сетей и наборах данных, включая масштабную настройку Stable Diffusion XL. Мы предлагаем выставление интервала руководства в качестве гиперпараметра во всех моделях диффузии, использующих руководство.

English

Guidance is a crucial technique for extracting the best performance out of image-generating diffusion models. Traditionally, a constant guidance weight has been applied throughout the sampling chain of an image. We show that guidance is clearly harmful toward the beginning of the chain (high noise levels), largely unnecessary toward the end (low noise levels), and only beneficial in the middle. We thus restrict it to a specific range of noise levels, improving both the inference speed and result quality. This limited guidance interval improves the record FID in ImageNet-512 significantly, from 1.81 to 1.40. We show that it is quantitatively and qualitatively beneficial across different sampler parameters, network architectures, and datasets, including the large-scale setting of Stable Diffusion XL. We thus suggest exposing the guidance interval as a hyperparameter in all diffusion models that use guidance.