HiGS: 拡散モデルのプラグアンドプレイ強化のための履歴誘導型サンプリング

要旨

拡散モデルは画像生成において目覚ましい進歩を遂げているものの、その出力は特にニューラル関数評価（NFE）の回数が少ない場合やガイダンススケールが低い場合に、非現実的で細部が欠けることがあります。この問題に対処するため、我々は新しいモーメンタムベースのサンプリング技術、History-Guided Sampling（HiGS）を提案します。HiGSは、最近のモデル予測を各推論ステップに統合することで、拡散サンプリングの品質と効率を向上させます。具体的には、HiGSは現在の予測と過去の予測の加重平均との差を利用して、より現実的で細部と構造が優れた出力に向けてサンプリングプロセスを導きます。我々のアプローチは、実質的に追加の計算を必要とせず、既存の拡散フレームワークにシームレスに統合され、追加のトレーニングやファインチューニングも不要です。広範な実験により、HiGSが多様なモデルやアーキテクチャにおいて、さまざまなサンプリング予算やガイダンススケールの下で、一貫して画像品質を向上させることが示されています。さらに、事前学習済みのSiTモデルを使用して、HiGSは256×256の非ガイド付きImageNet生成において、わずか30サンプリングステップ（標準の250ステップではなく）で1.61という新しい最先端のFIDを達成しました。したがって、我々はHiGSを、標準の拡散サンプリングに対するプラグアンドプレイの拡張として提示し、より高速で高忠実度の生成を可能にします。

English

While diffusion models have made remarkable progress in image generation, their outputs can still appear unrealistic and lack fine details, especially when using fewer number of neural function evaluations (NFEs) or lower guidance scales. To address this issue, we propose a novel momentum-based sampling technique, termed history-guided sampling (HiGS), which enhances quality and efficiency of diffusion sampling by integrating recent model predictions into each inference step. Specifically, HiGS leverages the difference between the current prediction and a weighted average of past predictions to steer the sampling process toward more realistic outputs with better details and structure. Our approach introduces practically no additional computation and integrates seamlessly into existing diffusion frameworks, requiring neither extra training nor fine-tuning. Extensive experiments show that HiGS consistently improves image quality across diverse models and architectures and under varying sampling budgets and guidance scales. Moreover, using a pretrained SiT model, HiGS achieves a new state-of-the-art FID of 1.61 for unguided ImageNet generation at 256times256 with only 30 sampling steps (instead of the standard 250). We thus present HiGS as a plug-and-play enhancement to standard diffusion sampling that enables faster generation with higher fidelity.

HiGS: 拡散モデルのプラグアンドプレイ強化のための履歴誘導型サンプリング

HiGS: History-Guided Sampling for Plug-and-Play Enhancement of Diffusion Models

要旨

Support