発散アーティファクトを軽減するためのモーメンタムを用いた拡散サンプリング

Diffusion Sampling with Momentum for Mitigating Divergence Artifacts

July 20, 2023

著者: Suttisak Wizadwongsa, Worameth Chinchuthakun, Pramook Khungurn, Amit Raj, Supasorn Suwajanakorn

cs.AI

要旨

拡散モデルの画像生成における顕著な成功にもかかわらず、サンプリングの遅さは依然として解決すべき課題です。サンプリングプロセスを加速するため、これまでの研究では拡散サンプリングをODE/SDEとして再定式化し、高次の数値解法を導入してきました。しかし、これらの手法は特にサンプリングステップ数が少ない場合に発散アーティファクトを生じやすく、達成可能な加速に制限をかけています。本論文では、これらのアーティファクトの潜在的な原因を調査し、これらの手法の安定領域が小さいことが主な原因である可能性を示唆します。この問題に対処するため、我々は2つの新しい技術を提案します。第一の技術は、最適化の改善に有効な手法として知られるHeavy Ball（HB）モーメンタムを既存の拡散数値解法に組み込み、その安定領域を拡大するものです。また、結果として得られる手法が一次収束することを証明します。第二の技術はGeneralized Heavy Ball（GHVB）と呼ばれ、精度とアーティファクト抑制の間の可変的なトレードオフを提供する新しい高次手法を構築します。実験結果は、我々の技術がアーティファクトの削減と画質の向上に極めて有効であり、ピクセルベースおよび潜在ベースの拡散モデルにおける低ステップサンプリングにおいて、最先端の拡散ソルバーを凌駕することを示しています。本研究は、将来の拡散研究における数値解法の設計に新たな洞察を提供します。

English

Despite the remarkable success of diffusion models in image generation, slow sampling remains a persistent issue. To accelerate the sampling process, prior studies have reformulated diffusion sampling as an ODE/SDE and introduced higher-order numerical methods. However, these methods often produce divergence artifacts, especially with a low number of sampling steps, which limits the achievable acceleration. In this paper, we investigate the potential causes of these artifacts and suggest that the small stability regions of these methods could be the principal cause. To address this issue, we propose two novel techniques. The first technique involves the incorporation of Heavy Ball (HB) momentum, a well-known technique for improving optimization, into existing diffusion numerical methods to expand their stability regions. We also prove that the resulting methods have first-order convergence. The second technique, called Generalized Heavy Ball (GHVB), constructs a new high-order method that offers a variable trade-off between accuracy and artifact suppression. Experimental results show that our techniques are highly effective in reducing artifacts and improving image quality, surpassing state-of-the-art diffusion solvers on both pixel-based and latent-based diffusion models for low-step sampling. Our research provides novel insights into the design of numerical methods for future diffusion work.