Campionamento con Diffusione e Momento per Mitigare gli Artefatti di Divergenza

Diffusion Sampling with Momentum for Mitigating Divergence Artifacts

July 20, 2023

Autori: Suttisak Wizadwongsa, Worameth Chinchuthakun, Pramook Khungurn, Amit Raj, Supasorn Suwajanakorn

cs.AI

Abstract

Nonostante il notevole successo dei modelli di diffusione nella generazione di immagini, il campionamento lento rimane un problema persistente. Per accelerare il processo di campionamento, studi precedenti hanno riformulato il campionamento di diffusione come un'ODE/SDE e introdotto metodi numerici di ordine superiore. Tuttavia, questi metodi spesso producono artefatti di divergenza, specialmente con un numero ridotto di passi di campionamento, il che limita l'accelerazione ottenibile. In questo articolo, indaghiamo le potenziali cause di questi artefatti e suggeriamo che le piccole regioni di stabilità di questi metodi potrebbero essere la causa principale. Per affrontare questo problema, proponiamo due nuove tecniche. La prima tecnica prevede l'incorporazione del momento Heavy Ball (HB), una tecnica ben nota per migliorare l'ottimizzazione, nei metodi numerici di diffusione esistenti per espandere le loro regioni di stabilità. Dimostriamo inoltre che i metodi risultanti hanno una convergenza del primo ordine. La seconda tecnica, chiamata Generalized Heavy Ball (GHVB), costruisce un nuovo metodo di ordine superiore che offre un compromesso variabile tra accuratezza e soppressione degli artefatti. I risultati sperimentali mostrano che le nostre tecniche sono altamente efficaci nel ridurre gli artefatti e migliorare la qualità delle immagini, superando i risolutori di diffusione all'avanguardia sia sui modelli di diffusione basati su pixel che su quelli basati su latenti per il campionamento a basso numero di passi. La nostra ricerca fornisce nuove intuizioni per la progettazione di metodi numerici per futuri lavori sulla diffusione.

English

Despite the remarkable success of diffusion models in image generation, slow sampling remains a persistent issue. To accelerate the sampling process, prior studies have reformulated diffusion sampling as an ODE/SDE and introduced higher-order numerical methods. However, these methods often produce divergence artifacts, especially with a low number of sampling steps, which limits the achievable acceleration. In this paper, we investigate the potential causes of these artifacts and suggest that the small stability regions of these methods could be the principal cause. To address this issue, we propose two novel techniques. The first technique involves the incorporation of Heavy Ball (HB) momentum, a well-known technique for improving optimization, into existing diffusion numerical methods to expand their stability regions. We also prove that the resulting methods have first-order convergence. The second technique, called Generalized Heavy Ball (GHVB), constructs a new high-order method that offers a variable trade-off between accuracy and artifact suppression. Experimental results show that our techniques are highly effective in reducing artifacts and improving image quality, surpassing state-of-the-art diffusion solvers on both pixel-based and latent-based diffusion models for low-step sampling. Our research provides novel insights into the design of numerical methods for future diffusion work.