Диффузионная выборка с использованием импульса для смягчения артефактов расхождения

Diffusion Sampling with Momentum for Mitigating Divergence Artifacts

July 20, 2023

Авторы: Suttisak Wizadwongsa, Worameth Chinchuthakun, Pramook Khungurn, Amit Raj, Supasorn Suwajanakorn

cs.AI

Аннотация

Несмотря на впечатляющие успехи диффузионных моделей в генерации изображений, проблема медленного сэмплинга остается актуальной. Для ускорения процесса сэмплинга предыдущие исследования переформулировали диффузионный сэмплинг как обыкновенное дифференциальное уравнение (ОДУ) или стохастическое дифференциальное уравнение (СДУ) и предложили численные методы более высокого порядка. Однако эти методы часто приводят к появлению артефактов расходимости, особенно при малом количестве шагов сэмплинга, что ограничивает возможное ускорение. В данной работе мы исследуем потенциальные причины этих артефактов и предполагаем, что основной причиной могут быть малые области устойчивости этих методов. Для решения этой проблемы мы предлагаем два новых подхода. Первый подход заключается во внедрении импульса Heavy Ball (HB), известного метода для улучшения оптимизации, в существующие численные методы диффузии с целью расширения их областей устойчивости. Мы также доказываем, что полученные методы обладают сходимостью первого порядка. Второй подход, называемый Generalized Heavy Ball (GHVB), создает новый метод высокого порядка, который предлагает переменный компромисс между точностью и подавлением артефактов. Экспериментальные результаты показывают, что наши методы эффективно снижают артефакты и улучшают качество изображений, превосходя современные диффузионные решатели как для пиксельных, так и для латентных диффузионных моделей при сэмплинге с малым числом шагов. Наше исследование предоставляет новые идеи для разработки численных методов в будущих работах по диффузии.

English

Despite the remarkable success of diffusion models in image generation, slow sampling remains a persistent issue. To accelerate the sampling process, prior studies have reformulated diffusion sampling as an ODE/SDE and introduced higher-order numerical methods. However, these methods often produce divergence artifacts, especially with a low number of sampling steps, which limits the achievable acceleration. In this paper, we investigate the potential causes of these artifacts and suggest that the small stability regions of these methods could be the principal cause. To address this issue, we propose two novel techniques. The first technique involves the incorporation of Heavy Ball (HB) momentum, a well-known technique for improving optimization, into existing diffusion numerical methods to expand their stability regions. We also prove that the resulting methods have first-order convergence. The second technique, called Generalized Heavy Ball (GHVB), constructs a new high-order method that offers a variable trade-off between accuracy and artifact suppression. Experimental results show that our techniques are highly effective in reducing artifacts and improving image quality, surpassing state-of-the-art diffusion solvers on both pixel-based and latent-based diffusion models for low-step sampling. Our research provides novel insights into the design of numerical methods for future diffusion work.