Amostragem de Difusão com Momento para Mitigar Artefatos de Divergência

Diffusion Sampling with Momentum for Mitigating Divergence Artifacts

July 20, 2023

Autores: Suttisak Wizadwongsa, Worameth Chinchuthakun, Pramook Khungurn, Amit Raj, Supasorn Suwajanakorn

cs.AI

Resumo

Apesar do notável sucesso dos modelos de difusão na geração de imagens, a amostragem lenta continua sendo um problema persistente. Para acelerar o processo de amostragem, estudos anteriores reformularam a amostragem de difusão como uma EDO/EDE e introduziram métodos numéricos de ordem superior. No entanto, esses métodos frequentemente produzem artefatos de divergência, especialmente com um número reduzido de etapas de amostragem, o que limita a aceleração alcançável. Neste artigo, investigamos as possíveis causas desses artefatos e sugerimos que as pequenas regiões de estabilidade desses métodos podem ser a principal causa. Para abordar esse problema, propomos duas novas técnicas. A primeira técnica envolve a incorporação do momento Heavy Ball (HB), uma técnica bem conhecida para melhorar a otimização, nos métodos numéricos de difusão existentes para expandir suas regiões de estabilidade. Também provamos que os métodos resultantes têm convergência de primeira ordem. A segunda técnica, chamada Generalized Heavy Ball (GHVB), constrói um novo método de alta ordem que oferece uma troca variável entre precisão e supressão de artefatos. Resultados experimentais mostram que nossas técnicas são altamente eficazes na redução de artefatos e na melhoria da qualidade da imagem, superando os solucionadores de difusão state-of-the-art em modelos de difusão baseados em pixels e latentes para amostragem com baixo número de etapas. Nossa pesquisa fornece novas perspectivas para o design de métodos numéricos para trabalhos futuros em difusão.

English

Despite the remarkable success of diffusion models in image generation, slow sampling remains a persistent issue. To accelerate the sampling process, prior studies have reformulated diffusion sampling as an ODE/SDE and introduced higher-order numerical methods. However, these methods often produce divergence artifacts, especially with a low number of sampling steps, which limits the achievable acceleration. In this paper, we investigate the potential causes of these artifacts and suggest that the small stability regions of these methods could be the principal cause. To address this issue, we propose two novel techniques. The first technique involves the incorporation of Heavy Ball (HB) momentum, a well-known technique for improving optimization, into existing diffusion numerical methods to expand their stability regions. We also prove that the resulting methods have first-order convergence. The second technique, called Generalized Heavy Ball (GHVB), constructs a new high-order method that offers a variable trade-off between accuracy and artifact suppression. Experimental results show that our techniques are highly effective in reducing artifacts and improving image quality, surpassing state-of-the-art diffusion solvers on both pixel-based and latent-based diffusion models for low-step sampling. Our research provides novel insights into the design of numerical methods for future diffusion work.