GAS: 一般化された敵対的ソルバーによる拡散ODEの離散化の改善

要旨

拡散モデルは生成品質において最先端の性能を達成しているものの、依然として計算コストの高いサンプリングが課題となっている。最近の研究では、勾配ベースの最適化手法を用いて、完全なサンプリングプロセスから数ステップのODE拡散ソルバーを蒸留することで、関数評価の回数を数十回からわずか数回に削減するアプローチが提案されている。しかし、これらの手法は複雑な訓練技術に依存することが多く、細部の詳細を明示的に保持することに焦点を当てていない。本論文では、追加の訓練トリックを必要とせず、既存のアプローチよりも品質を向上させるODEサンプラーの単純なパラメータ化である「Generalized Solver」を紹介する。さらに、元の蒸留損失を敵対的訓練と組み合わせることで、アーティファクトを軽減し、詳細の忠実度を向上させる。この結果得られる手法を「Generalized Adversarial Solver」と呼び、類似のリソース制約下で既存のソルバー訓練手法と比較して優れた性能を示す。コードはhttps://github.com/3145tttt/GASで公開されている。

English

While diffusion models achieve state-of-the-art generation quality, they still suffer from computationally expensive sampling. Recent works address this issue with gradient-based optimization methods that distill a few-step ODE diffusion solver from the full sampling process, reducing the number of function evaluations from dozens to just a few. However, these approaches often rely on intricate training techniques and do not explicitly focus on preserving fine-grained details. In this paper, we introduce the Generalized Solver: a simple parameterization of the ODE sampler that does not require additional training tricks and improves quality over existing approaches. We further combine the original distillation loss with adversarial training, which mitigates artifacts and enhances detail fidelity. We call the resulting method the Generalized Adversarial Solver and demonstrate its superior performance compared to existing solver training methods under similar resource constraints. Code is available at https://github.com/3145tttt/GAS.

GAS: 一般化された敵対的ソルバーによる拡散ODEの離散化の改善

GAS: Improving Discretization of Diffusion ODEs via Generalized Adversarial Solver

要旨

Support