Échantillonnage par diffusion avec momentum pour atténuer les artefacts de divergence

Diffusion Sampling with Momentum for Mitigating Divergence Artifacts

July 20, 2023

Auteurs: Suttisak Wizadwongsa, Worameth Chinchuthakun, Pramook Khungurn, Amit Raj, Supasorn Suwajanakorn

cs.AI

Résumé

Malgré le succès remarquable des modèles de diffusion dans la génération d'images, le problème de l'échantillonnage lent persiste. Pour accélérer le processus d'échantillonnage, des études antérieures ont reformulé l'échantillonnage par diffusion en tant qu'équations différentielles ordinaires (EDO) ou équations différentielles stochastiques (EDS) et ont introduit des méthodes numériques d'ordre supérieur. Cependant, ces méthodes produisent souvent des artefacts de divergence, en particulier avec un nombre réduit d'étapes d'échantillonnage, ce qui limite l'accélération réalisable. Dans cet article, nous explorons les causes potentielles de ces artefacts et suggérons que les petites régions de stabilité de ces méthodes pourraient en être la principale raison. Pour résoudre ce problème, nous proposons deux techniques novatrices. La première technique consiste à intégrer la dynamique de Heavy Ball (HB), une méthode bien connue pour améliorer l'optimisation, dans les méthodes numériques de diffusion existantes afin d'élargir leurs régions de stabilité. Nous démontrons également que les méthodes résultantes possèdent une convergence du premier ordre. La seconde technique, appelée Generalized Heavy Ball (GHVB), construit une nouvelle méthode d'ordre supérieur offrant un compromis variable entre précision et suppression des artefacts. Les résultats expérimentaux montrent que nos techniques sont très efficaces pour réduire les artefacts et améliorer la qualité des images, surpassant les solveurs de diffusion de pointe sur les modèles de diffusion basés sur les pixels et sur les espaces latents pour un échantillonnage à faible nombre d'étapes. Notre recherche apporte de nouvelles perspectives sur la conception de méthodes numériques pour les travaux futurs en diffusion.

English

Despite the remarkable success of diffusion models in image generation, slow sampling remains a persistent issue. To accelerate the sampling process, prior studies have reformulated diffusion sampling as an ODE/SDE and introduced higher-order numerical methods. However, these methods often produce divergence artifacts, especially with a low number of sampling steps, which limits the achievable acceleration. In this paper, we investigate the potential causes of these artifacts and suggest that the small stability regions of these methods could be the principal cause. To address this issue, we propose two novel techniques. The first technique involves the incorporation of Heavy Ball (HB) momentum, a well-known technique for improving optimization, into existing diffusion numerical methods to expand their stability regions. We also prove that the resulting methods have first-order convergence. The second technique, called Generalized Heavy Ball (GHVB), constructs a new high-order method that offers a variable trade-off between accuracy and artifact suppression. Experimental results show that our techniques are highly effective in reducing artifacts and improving image quality, surpassing state-of-the-art diffusion solvers on both pixel-based and latent-based diffusion models for low-step sampling. Our research provides novel insights into the design of numerical methods for future diffusion work.