Diffusiebemonstering met momentum voor het verminderen van divergentie-artefacten

Diffusion Sampling with Momentum for Mitigating Divergence Artifacts

July 20, 2023

Auteurs: Suttisak Wizadwongsa, Worameth Chinchuthakun, Pramook Khungurn, Amit Raj, Supasorn Suwajanakorn

cs.AI

Samenvatting

Ondanks het opmerkelijke succes van diffusiemodellen in beeldgeneratie, blijft trage sampling een hardnekkig probleem. Om het samplingproces te versnellen, hebben eerdere studies diffusiesampling herformuleerd als een ODE/SDE en hogere-orde numerieke methoden geïntroduceerd. Deze methoden produceren echter vaak divergentie-artefacten, vooral bij een laag aantal samplingstappen, wat de haalbare versnelling beperkt. In dit artikel onderzoeken we de mogelijke oorzaken van deze artefacten en suggereren we dat de kleine stabiliteitsregio's van deze methoden de belangrijkste oorzaak zouden kunnen zijn. Om dit probleem aan te pakken, stellen we twee nieuwe technieken voor. De eerste techniek omvat de integratie van Heavy Ball (HB)-momentum, een bekende techniek voor het verbeteren van optimalisatie, in bestaande numerieke diffusiemethoden om hun stabiliteitsregio's uit te breiden. We bewijzen ook dat de resulterende methoden convergentie van de eerste orde hebben. De tweede techniek, genaamd Generalized Heavy Ball (GHVB), construeert een nieuwe hogere-orde methode die een variabele afweging biedt tussen nauwkeurigheid en artefactonderdrukking. Experimentele resultaten tonen aan dat onze technieken zeer effectief zijn in het verminderen van artefacten en het verbeteren van beeldkwaliteit, en ze overtreffen state-of-the-art diffusie-oplossers op zowel pixelgebaseerde als latent-gebaseerde diffusiemodellen voor sampling met weinig stappen. Ons onderzoek biedt nieuwe inzichten in het ontwerp van numerieke methoden voor toekomstig diffusiewerk.

English

Despite the remarkable success of diffusion models in image generation, slow sampling remains a persistent issue. To accelerate the sampling process, prior studies have reformulated diffusion sampling as an ODE/SDE and introduced higher-order numerical methods. However, these methods often produce divergence artifacts, especially with a low number of sampling steps, which limits the achievable acceleration. In this paper, we investigate the potential causes of these artifacts and suggest that the small stability regions of these methods could be the principal cause. To address this issue, we propose two novel techniques. The first technique involves the incorporation of Heavy Ball (HB) momentum, a well-known technique for improving optimization, into existing diffusion numerical methods to expand their stability regions. We also prove that the resulting methods have first-order convergence. The second technique, called Generalized Heavy Ball (GHVB), constructs a new high-order method that offers a variable trade-off between accuracy and artifact suppression. Experimental results show that our techniques are highly effective in reducing artifacts and improving image quality, surpassing state-of-the-art diffusion solvers on both pixel-based and latent-based diffusion models for low-step sampling. Our research provides novel insights into the design of numerical methods for future diffusion work.