画像拡散プレビューと一貫性ソルバー

要旨

画像拡散モデルの推論処理が遅いことは、インタラクティブなユーザー経験を大きく損なう。この課題に対処するため、我々はDiffusion Previewを提案する。これは、迅速な少ステップサンプリングを用いてユーザー評価用の暫定的な出力を生成し、プレビューが満足できると判断されるまで全ステップによる精緻化を先送りする新たなパラダイムである。訓練不要のソルバーや訓練後蒸留を含む既存の高速化手法は、高品質なプレビューの提供や、プレビューと最終出力間の一貫性の保証が困難である。我々は、一般線形多段法に基づくConsistencySolverを提案する。これは強化学習により最適化された、軽量で訓練可能な高次ソルバーであり、プレビューの品質と一貫性を向上させる。実験結果は、ConsistencySolverが少ステップ条件下での生成品質と一貫性を大幅に改善し、効率的な「プレビュー＆改良」ワークフローに理想的であることを示す。特に、Multistep DPM-Solverと同等のFIDスコアを47%少ないステップ数で達成し、蒸留ベースライン手法を凌駕する。さらにユーザスタディにより、本手法が生成品質を維持しつつ、ユーザの総インタラクション時間を約50%削減することが示された。コードはhttps://github.com/G-U-N/consolver で公開されている。

English

The slow inference process of image diffusion models significantly degrades interactive user experiences. To address this, we introduce Diffusion Preview, a novel paradigm employing rapid, low-step sampling to generate preliminary outputs for user evaluation, deferring full-step refinement until the preview is deemed satisfactory. Existing acceleration methods, including training-free solvers and post-training distillation, struggle to deliver high-quality previews or ensure consistency between previews and final outputs. We propose ConsistencySolver derived from general linear multistep methods, a lightweight, trainable high-order solver optimized via Reinforcement Learning, that enhances preview quality and consistency. Experimental results demonstrate that ConsistencySolver significantly improves generation quality and consistency in low-step scenarios, making it ideal for efficient preview-and-refine workflows. Notably, it achieves FID scores on-par with Multistep DPM-Solver using 47% fewer steps, while outperforming distillation baselines. Furthermore, user studies indicate our approach reduces overall user interaction time by nearly 50% while maintaining generation quality. Code is available at https://github.com/G-U-N/consolver.

画像拡散プレビューと一貫性ソルバー

Image Diffusion Preview with Consistency Solver

要旨

Support