Diffusion-Sampling mit Impuls zur Minderung von Divergenzartefakten

Diffusion Sampling with Momentum for Mitigating Divergence Artifacts

July 20, 2023

Autoren: Suttisak Wizadwongsa, Worameth Chinchuthakun, Pramook Khungurn, Amit Raj, Supasorn Suwajanakorn

cs.AI

Zusammenfassung

Trotz des bemerkenswerten Erfolgs von Diffusionsmodellen in der Bildgenerierung bleibt die langsame Abtastung ein anhaltendes Problem. Um den Abtastprozess zu beschleunigen, haben frühere Studien die Diffusionsabtastung als ODE/SDE neu formuliert und numerische Methoden höherer Ordnung eingeführt. Diese Methoden erzeugen jedoch oft Divergenzartefakte, insbesondere bei einer geringen Anzahl von Abtastschritten, was die erreichbare Beschleunigung begrenzt. In dieser Arbeit untersuchen wir die potenziellen Ursachen dieser Artefakte und vermuten, dass die kleinen Stabilitätsbereiche dieser Methoden die Hauptursache sein könnten. Um dieses Problem zu lösen, schlagen wir zwei neuartige Techniken vor. Die erste Technik beinhaltet die Einbindung von Heavy Ball (HB)-Impuls, einer bekannten Technik zur Verbesserung der Optimierung, in bestehende numerische Diffusionsmethoden, um deren Stabilitätsbereiche zu erweitern. Wir beweisen auch, dass die resultierenden Methoden eine Konvergenz erster Ordnung aufweisen. Die zweite Technik, genannt Generalized Heavy Ball (GHVB), konstruiert eine neue Methode höherer Ordnung, die einen variablen Kompromiss zwischen Genauigkeit und Artefaktunterdrückung bietet. Experimentelle Ergebnisse zeigen, dass unsere Techniken sehr effektiv darin sind, Artefakte zu reduzieren und die Bildqualität zu verbessern, und dabei state-of-the-art Diffusionslöser sowohl bei pixelbasierten als auch latentbasierten Diffusionsmodellen für die Abtastung mit wenigen Schritten übertreffen. Unsere Forschung bietet neue Einblicke in die Gestaltung numerischer Methoden für zukünftige Diffusionsarbeiten.

English

Despite the remarkable success of diffusion models in image generation, slow sampling remains a persistent issue. To accelerate the sampling process, prior studies have reformulated diffusion sampling as an ODE/SDE and introduced higher-order numerical methods. However, these methods often produce divergence artifacts, especially with a low number of sampling steps, which limits the achievable acceleration. In this paper, we investigate the potential causes of these artifacts and suggest that the small stability regions of these methods could be the principal cause. To address this issue, we propose two novel techniques. The first technique involves the incorporation of Heavy Ball (HB) momentum, a well-known technique for improving optimization, into existing diffusion numerical methods to expand their stability regions. We also prove that the resulting methods have first-order convergence. The second technique, called Generalized Heavy Ball (GHVB), constructs a new high-order method that offers a variable trade-off between accuracy and artifact suppression. Experimental results show that our techniques are highly effective in reducing artifacts and improving image quality, surpassing state-of-the-art diffusion solvers on both pixel-based and latent-based diffusion models for low-step sampling. Our research provides novel insights into the design of numerical methods for future diffusion work.