拡散サンプリングにおける最適ステップサイズ

Optimal Stepsize for Diffusion Sampling

March 27, 2025

著者: Jianning Pei, Han Hu, Shuyang Gu

cs.AI

要旨

拡散モデルは優れた生成品質を実現しますが、最適でないステップ離散化のため、計算集約的なサンプリングが課題となっています。既存研究は主にノイズ除去方向の最適化に焦点を当てていますが、本論文ではステップサイズスケジュールの原理的な設計に取り組みます。本論文では、最適ステップサイズ蒸留（Optimal Stepsize Distillation）を提案します。これは、参照軌跡から知識を蒸留することで理論的に最適なスケジュールを抽出する動的計画法フレームワークです。ステップサイズ最適化を再帰的誤差最小化として再定式化することで、最適部分構造の活用を通じてグローバルな離散化境界を保証します。重要な点として、蒸留されたスケジュールは、アーキテクチャ、ODEソルバー、ノイズスケジュールにわたって強力なロバスト性を示します。実験では、テキストから画像への生成を10倍加速しつつ、GenEvalにおいて99.4%の性能を維持することが確認されました。コードはhttps://github.com/bebebe666/OptimalStepsで公開されています。

English

Diffusion models achieve remarkable generation quality but suffer from computational intensive sampling due to suboptimal step discretization. While existing works focus on optimizing denoising directions, we address the principled design of stepsize schedules. This paper proposes Optimal Stepsize Distillation, a dynamic programming framework that extracts theoretically optimal schedules by distilling knowledge from reference trajectories. By reformulating stepsize optimization as recursive error minimization, our method guarantees global discretization bounds through optimal substructure exploitation. Crucially, the distilled schedules demonstrate strong robustness across architectures, ODE solvers, and noise schedules. Experiments show 10x accelerated text-to-image generation while preserving 99.4% performance on GenEval. Our code is available at https://github.com/bebebe666/OptimalSteps.