DPM-Solver-v3: Solucionador mejorado de EDO de difusión con estadísticas de modelos empíricos

DPM-Solver-v3: Improved Diffusion ODE Solver with Empirical Model Statistics

October 20, 2023

Autores: Kaiwen Zheng, Cheng Lu, Jianfei Chen, Jun Zhu

cs.AI

Resumen

Los modelos probabilísticos de difusión (DPMs, por sus siglas en inglés) han demostrado un rendimiento excepcional en la generación de imágenes de alta fidelidad, aunque presentan ineficiencias en el muestreo. Trabajos recientes han acelerado el procedimiento de muestreo mediante la propuesta de solucionadores rápidos de ecuaciones diferenciales ordinarias (EDOs) que aprovechan la forma específica de EDO de los DPMs. Sin embargo, estos métodos dependen en gran medida de una parametrización específica durante la inferencia (como la predicción de ruido o datos), lo cual podría no ser la elección óptima. En este trabajo, proponemos una nueva formulación hacia la parametrización óptima durante el muestreo que minimiza el error de discretización de primer orden de la solución de la EDO. Basados en esta formulación, presentamos DPM-Solver-v3, un nuevo solucionador rápido de EDOs para DPMs, introduciendo varios coeficientes calculados eficientemente en el modelo preentrenado, a los que denominamos estadísticas empíricas del modelo. Además, incorporamos métodos de múltiples pasos y un marco de predictor-corrector, y proponemos algunas técnicas para mejorar la calidad de las muestras con un número reducido de evaluaciones de función (NFE, por sus siglas en inglés) o escalas de guía grandes. Los experimentos muestran que DPM-Solver-v3 logra un rendimiento consistentemente mejor o comparable en el muestreo tanto incondicional como condicional, tanto en DPMs de espacio de píxeles como de espacio latente, especialmente en 5 a 10 NFE. Alcanzamos FIDs de 12.21 (5 NFE) y 2.51 (10 NFE) en CIFAR10 incondicional, y un MSE de 0.55 (5 NFE, escala de guía de 7.5) en Stable Diffusion, obteniendo una aceleración del 15% al 30% en comparación con los métodos más avanzados sin entrenamiento previo. El código está disponible en https://github.com/thu-ml/DPM-Solver-v3.

English

Diffusion probabilistic models (DPMs) have exhibited excellent performance for high-fidelity image generation while suffering from inefficient sampling. Recent works accelerate the sampling procedure by proposing fast ODE solvers that leverage the specific ODE form of DPMs. However, they highly rely on specific parameterization during inference (such as noise/data prediction), which might not be the optimal choice. In this work, we propose a novel formulation towards the optimal parameterization during sampling that minimizes the first-order discretization error of the ODE solution. Based on such formulation, we propose DPM-Solver-v3, a new fast ODE solver for DPMs by introducing several coefficients efficiently computed on the pretrained model, which we call empirical model statistics. We further incorporate multistep methods and a predictor-corrector framework, and propose some techniques for improving sample quality at small numbers of function evaluations (NFE) or large guidance scales. Experiments show that DPM-Solver-v3 achieves consistently better or comparable performance in both unconditional and conditional sampling with both pixel-space and latent-space DPMs, especially in 5sim10 NFEs. We achieve FIDs of 12.21 (5 NFE), 2.51 (10 NFE) on unconditional CIFAR10, and MSE of 0.55 (5 NFE, 7.5 guidance scale) on Stable Diffusion, bringing a speed-up of 15\%sim30\% compared to previous state-of-the-art training-free methods. Code is available at https://github.com/thu-ml/DPM-Solver-v3.