DPM-Solver-v3: Verbeterde Diffusie ODE Oplosser met Empirische Modelstatistieken

DPM-Solver-v3: Improved Diffusion ODE Solver with Empirical Model Statistics

October 20, 2023

Auteurs: Kaiwen Zheng, Cheng Lu, Jianfei Chen, Jun Zhu

cs.AI

Samenvatting

Diffusion probabilistische modellen (DPMs) hebben uitstekende prestaties getoond voor het genereren van hoogwaardige afbeeldingen, maar kampen met inefficiënte sampling. Recente werken versnellen het samplingproces door snelle ODE-oplossers voor te stellen die gebruikmaken van de specifieke ODE-vorm van DPMs. Ze zijn echter sterk afhankelijk van specifieke parameterisaties tijdens inferentie (zoals ruis/data-voorspelling), wat mogelijk niet de optimale keuze is. In dit werk stellen we een nieuwe formulering voor naar de optimale parameterisatie tijdens sampling, die de discretisatiefout van de eerste orde van de ODE-oplossing minimaliseert. Op basis van deze formulering introduceren we DPM-Solver-v3, een nieuwe snelle ODE-oplosser voor DPMs, door verschillende efficiënt berekende coëfficiënten op het vooraf getrainde model te introduceren, die we empirische modelstatistieken noemen. We integreren verder multistap-methoden en een predictor-corrector-framework, en stellen enkele technieken voor om de samplekwaliteit te verbeteren bij een klein aantal functie-evaluaties (NFE) of grote begeleidingsschalen. Experimenten tonen aan dat DPM-Solver-v3 consistent betere of vergelijkbare prestaties behaalt bij zowel onvoorwaardelijke als voorwaardelijke sampling met zowel pixelruimte- als latentieruimte-DPMs, vooral bij 5-10 NFE's. We behalen FID's van 12,21 (5 NFE), 2,51 (10 NFE) bij onvoorwaardelijke CIFAR10, en een MSE van 0,55 (5 NFE, 7,5 begeleidingsschaal) op Stable Diffusion, wat een versnelling van 15%-30% oplevert in vergelijking met eerdere state-of-the-art trainingsvrije methoden. Code is beschikbaar op https://github.com/thu-ml/DPM-Solver-v3.

English

Diffusion probabilistic models (DPMs) have exhibited excellent performance for high-fidelity image generation while suffering from inefficient sampling. Recent works accelerate the sampling procedure by proposing fast ODE solvers that leverage the specific ODE form of DPMs. However, they highly rely on specific parameterization during inference (such as noise/data prediction), which might not be the optimal choice. In this work, we propose a novel formulation towards the optimal parameterization during sampling that minimizes the first-order discretization error of the ODE solution. Based on such formulation, we propose DPM-Solver-v3, a new fast ODE solver for DPMs by introducing several coefficients efficiently computed on the pretrained model, which we call empirical model statistics. We further incorporate multistep methods and a predictor-corrector framework, and propose some techniques for improving sample quality at small numbers of function evaluations (NFE) or large guidance scales. Experiments show that DPM-Solver-v3 achieves consistently better or comparable performance in both unconditional and conditional sampling with both pixel-space and latent-space DPMs, especially in 5sim10 NFEs. We achieve FIDs of 12.21 (5 NFE), 2.51 (10 NFE) on unconditional CIFAR10, and MSE of 0.55 (5 NFE, 7.5 guidance scale) on Stable Diffusion, bringing a speed-up of 15\%sim30\% compared to previous state-of-the-art training-free methods. Code is available at https://github.com/thu-ml/DPM-Solver-v3.