발산 아티팩트 완화를 위한 모멘텀 기반 확산 샘플링

Diffusion Sampling with Momentum for Mitigating Divergence Artifacts

July 20, 2023

저자: Suttisak Wizadwongsa, Worameth Chinchuthakun, Pramook Khungurn, Amit Raj, Supasorn Suwajanakorn

cs.AI

초록

확산 모델(diffusion model)이 이미지 생성 분야에서 놀라운 성공을 거두었음에도 불구하고, 느린 샘플링 속도는 여전히 지속적인 문제로 남아 있습니다. 샘플링 과정을 가속화하기 위해, 기존 연구들은 확산 샘플링을 ODE/SDE로 재구성하고 고차 수치적 방법을 도입했습니다. 그러나 이러한 방법들은 특히 샘플링 단계 수가 적을 때 발산 아티팩트(divergence artifact)를 생성하는 경우가 많아, 달성 가능한 가속화에 제한을 가합니다. 본 논문에서는 이러한 아티팩트의 잠재적 원인을 조사하고, 이러한 방법들의 작은 안정성 영역이 주요 원인일 수 있다고 제안합니다. 이 문제를 해결하기 위해, 우리는 두 가지 새로운 기법을 제안합니다. 첫 번째 기법은 최적화 개선을 위해 잘 알려진 Heavy Ball(HB) 모멘텀을 기존의 확산 수치적 방법에 통합하여 안정성 영역을 확장하는 것입니다. 또한, 결과적으로 얻은 방법들이 1차 수렴성을 가짐을 증명합니다. 두 번째 기법인 Generalized Heavy Ball(GHVB)은 정확도와 아티팩트 억제 사이의 가변적 균형을 제공하는 새로운 고차 방법을 구성합니다. 실험 결과는 우리의 기법들이 아티팩트를 줄이고 이미지 품질을 개선하는 데 매우 효과적이며, 저단계 샘플링에서 픽셀 기반 및 잠재 기반 확산 모델 모두에서 최신 확산 솔버를 능가함을 보여줍니다. 우리의 연구는 향후 확산 작업을 위한 수치적 방법 설계에 새로운 통찰을 제공합니다.

English

Despite the remarkable success of diffusion models in image generation, slow sampling remains a persistent issue. To accelerate the sampling process, prior studies have reformulated diffusion sampling as an ODE/SDE and introduced higher-order numerical methods. However, these methods often produce divergence artifacts, especially with a low number of sampling steps, which limits the achievable acceleration. In this paper, we investigate the potential causes of these artifacts and suggest that the small stability regions of these methods could be the principal cause. To address this issue, we propose two novel techniques. The first technique involves the incorporation of Heavy Ball (HB) momentum, a well-known technique for improving optimization, into existing diffusion numerical methods to expand their stability regions. We also prove that the resulting methods have first-order convergence. The second technique, called Generalized Heavy Ball (GHVB), constructs a new high-order method that offers a variable trade-off between accuracy and artifact suppression. Experimental results show that our techniques are highly effective in reducing artifacts and improving image quality, surpassing state-of-the-art diffusion solvers on both pixel-based and latent-based diffusion models for low-step sampling. Our research provides novel insights into the design of numerical methods for future diffusion work.