DPM-Solver-v3: Улучшенный решатель диффузионных ОДУ с эмпирической статистикой модели

DPM-Solver-v3: Improved Diffusion ODE Solver with Empirical Model Statistics

October 20, 2023

Авторы: Kaiwen Zheng, Cheng Lu, Jianfei Chen, Jun Zhu

cs.AI

Аннотация

Диффузионные вероятностные модели (DPM) продемонстрировали превосходные результаты в генерации изображений с высокой точностью, однако страдают от неэффективности процесса выборки. В последних работах ускорение процедуры выборки достигается за счет предложения быстрых решателей обыкновенных дифференциальных уравнений (ODE), которые используют специфическую форму ODE, присущую DPM. Однако эти методы сильно зависят от конкретной параметризации во время вывода (например, предсказания шума или данных), что может быть неоптимальным выбором. В данной работе мы предлагаем новую формулировку, направленную на оптимальную параметризацию в процессе выборки, которая минимизирует ошибку дискретизации первого порядка решения ODE. На основе этой формулировки мы представляем DPM-Solver-v3 — новый быстрый решатель ODE для DPM, вводя несколько коэффициентов, эффективно вычисляемых на предварительно обученной модели, которые мы называем эмпирической статистикой модели. Мы также интегрируем многошаговые методы и структуру предиктор-корректор, а также предлагаем несколько техник для улучшения качества выборки при малом количестве вычислений функции (NFE) или больших масштабах регуляризации. Эксперименты показывают, что DPM-Solver-v3 демонстрирует стабильно лучшие или сопоставимые результаты как в безусловной, так и в условной выборке для DPM в пространстве пикселей и латентном пространстве, особенно при 5–10 NFE. Мы достигаем значений FID 12.21 (5 NFE) и 2.51 (10 NFE) на безусловной выборке CIFAR10, а также MSE 0.55 (5 NFE, масштаб регуляризации 7.5) на Stable Diffusion, что обеспечивает ускорение на 15–30% по сравнению с предыдущими методами, не требующими дообучения. Код доступен по адресу https://github.com/thu-ml/DPM-Solver-v3.

English

Diffusion probabilistic models (DPMs) have exhibited excellent performance for high-fidelity image generation while suffering from inefficient sampling. Recent works accelerate the sampling procedure by proposing fast ODE solvers that leverage the specific ODE form of DPMs. However, they highly rely on specific parameterization during inference (such as noise/data prediction), which might not be the optimal choice. In this work, we propose a novel formulation towards the optimal parameterization during sampling that minimizes the first-order discretization error of the ODE solution. Based on such formulation, we propose DPM-Solver-v3, a new fast ODE solver for DPMs by introducing several coefficients efficiently computed on the pretrained model, which we call empirical model statistics. We further incorporate multistep methods and a predictor-corrector framework, and propose some techniques for improving sample quality at small numbers of function evaluations (NFE) or large guidance scales. Experiments show that DPM-Solver-v3 achieves consistently better or comparable performance in both unconditional and conditional sampling with both pixel-space and latent-space DPMs, especially in 5sim10 NFEs. We achieve FIDs of 12.21 (5 NFE), 2.51 (10 NFE) on unconditional CIFAR10, and MSE of 0.55 (5 NFE, 7.5 guidance scale) on Stable Diffusion, bringing a speed-up of 15\%sim30\% compared to previous state-of-the-art training-free methods. Code is available at https://github.com/thu-ml/DPM-Solver-v3.