限定的な区間におけるガイダンスの適用は、拡散モデルにおけるサンプルと分布の品質を向上させる

Applying Guidance in a Limited Interval Improves Sample and Distribution Quality in Diffusion Models

April 11, 2024

著者: Tuomas Kynkäänniemi, Miika Aittala, Tero Karras, Samuli Laine, Timo Aila, Jaakko Lehtinen

cs.AI

要旨

ガイダンスは、画像生成拡散モデルから最高のパフォーマンスを引き出すための重要な技術である。従来、画像のサンプリングチェーン全体にわたって一定のガイダンス重みが適用されてきた。本研究では、ガイダンスがチェーンの初期段階（高ノイズレベル）では明らかに有害であり、終盤（低ノイズレベル）ではほとんど不要であり、中間段階でのみ有益であることを示す。そこで、我々はガイダンスを特定のノイズレベル範囲に限定し、推論速度と結果の品質の両方を向上させた。この限定されたガイダンス区間は、ImageNet-512における記録的なFIDを1.81から1.40へと大幅に改善した。我々は、異なるサンプラーパラメータ、ネットワークアーキテクチャ、データセット、さらにはStable Diffusion XLの大規模設定においても、この手法が定量的および定性的に有益であることを示す。したがって、ガイダンスを使用するすべての拡散モデルにおいて、ガイダンス区間をハイパーパラメータとして公開することを提案する。

English

Guidance is a crucial technique for extracting the best performance out of image-generating diffusion models. Traditionally, a constant guidance weight has been applied throughout the sampling chain of an image. We show that guidance is clearly harmful toward the beginning of the chain (high noise levels), largely unnecessary toward the end (low noise levels), and only beneficial in the middle. We thus restrict it to a specific range of noise levels, improving both the inference speed and result quality. This limited guidance interval improves the record FID in ImageNet-512 significantly, from 1.81 to 1.40. We show that it is quantitatively and qualitatively beneficial across different sampler parameters, network architectures, and datasets, including the large-scale setting of Stable Diffusion XL. We thus suggest exposing the guidance interval as a hyperparameter in all diffusion models that use guidance.