Muestreo de Difusión con Momento para Mitigar Artefactos de Divergencia

Diffusion Sampling with Momentum for Mitigating Divergence Artifacts

July 20, 2023

Autores: Suttisak Wizadwongsa, Worameth Chinchuthakun, Pramook Khungurn, Amit Raj, Supasorn Suwajanakorn

cs.AI

Resumen

A pesar del notable éxito de los modelos de difusión en la generación de imágenes, el muestreo lento sigue siendo un problema persistente. Para acelerar el proceso de muestreo, estudios previos han reformulado el muestreo de difusión como una EDO/EDE e introducido métodos numéricos de orden superior. Sin embargo, estos métodos a menudo producen artefactos de divergencia, especialmente con un número reducido de pasos de muestreo, lo que limita la aceleración alcanzable. En este artículo, investigamos las posibles causas de estos artefactos y sugerimos que las pequeñas regiones de estabilidad de estos métodos podrían ser la causa principal. Para abordar este problema, proponemos dos técnicas novedosas. La primera técnica implica la incorporación del momento Heavy Ball (HB), una técnica conocida para mejorar la optimización, en los métodos numéricos de difusión existentes para ampliar sus regiones de estabilidad. También demostramos que los métodos resultantes tienen convergencia de primer orden. La segunda técnica, llamada Heavy Ball Generalizado (GHVB), construye un nuevo método de alto orden que ofrece un equilibrio variable entre precisión y supresión de artefactos. Los resultados experimentales muestran que nuestras técnicas son altamente efectivas para reducir artefactos y mejorar la calidad de la imagen, superando a los solucionadores de difusión más avanzados tanto en modelos de difusión basados en píxeles como en modelos basados en latentes para muestreo con pocos pasos. Nuestra investigación proporciona nuevas perspectivas en el diseño de métodos numéricos para futuros trabajos en difusión.

English

Despite the remarkable success of diffusion models in image generation, slow sampling remains a persistent issue. To accelerate the sampling process, prior studies have reformulated diffusion sampling as an ODE/SDE and introduced higher-order numerical methods. However, these methods often produce divergence artifacts, especially with a low number of sampling steps, which limits the achievable acceleration. In this paper, we investigate the potential causes of these artifacts and suggest that the small stability regions of these methods could be the principal cause. To address this issue, we propose two novel techniques. The first technique involves the incorporation of Heavy Ball (HB) momentum, a well-known technique for improving optimization, into existing diffusion numerical methods to expand their stability regions. We also prove that the resulting methods have first-order convergence. The second technique, called Generalized Heavy Ball (GHVB), constructs a new high-order method that offers a variable trade-off between accuracy and artifact suppression. Experimental results show that our techniques are highly effective in reducing artifacts and improving image quality, surpassing state-of-the-art diffusion solvers on both pixel-based and latent-based diffusion models for low-step sampling. Our research provides novel insights into the design of numerical methods for future diffusion work.