DPM-Solver-v3: Solutore ODE per Diffusion Migliorato con Statistiche del Modello Empirico

DPM-Solver-v3: Improved Diffusion ODE Solver with Empirical Model Statistics

October 20, 2023

Autori: Kaiwen Zheng, Cheng Lu, Jianfei Chen, Jun Zhu

cs.AI

Abstract

I modelli probabilistici di diffusione (DPM) hanno dimostrato prestazioni eccellenti nella generazione di immagini ad alta fedeltà, pur soffrendo di un campionamento inefficiente. Recenti lavori accelerano la procedura di campionamento proponendo risolutori ODE veloci che sfruttano la specifica forma ODE dei DPM. Tuttavia, questi si basano fortemente su una specifica parametrizzazione durante l'inferenza (come la previsione del rumore/dati), che potrebbe non essere la scelta ottimale. In questo lavoro, proponiamo una nuova formulazione verso la parametrizzazione ottimale durante il campionamento che minimizza l'errore di discretizzazione del primo ordine della soluzione ODE. Basandoci su tale formulazione, proponiamo DPM-Solver-v3, un nuovo risolutore ODE veloce per i DPM, introducendo diversi coefficienti calcolati in modo efficiente sul modello preaddestrato, che chiamiamo statistiche empiriche del modello. Inoltre, incorporiamo metodi multistep e un framework predittore-correttore, e proponiamo alcune tecniche per migliorare la qualità del campionamento con un numero ridotto di valutazioni di funzione (NFE) o scale di guida elevate. Gli esperimenti mostrano che DPM-Solver-v3 ottiene prestazioni costantemente migliori o comparabili sia nel campionamento incondizionato che condizionato con DPM sia nello spazio dei pixel che in quello latente, specialmente con 5-10 NFE. Raggiungiamo FID di 12.21 (5 NFE) e 2.51 (10 NFE) su CIFAR10 incondizionato, e MSE di 0.55 (5 NFE, scala di guida 7.5) su Stable Diffusion, ottenendo un'accelerazione del 15%-30% rispetto ai precedenti metodi state-of-the-art senza addestramento. Il codice è disponibile all'indirizzo https://github.com/thu-ml/DPM-Solver-v3.

English

Diffusion probabilistic models (DPMs) have exhibited excellent performance for high-fidelity image generation while suffering from inefficient sampling. Recent works accelerate the sampling procedure by proposing fast ODE solvers that leverage the specific ODE form of DPMs. However, they highly rely on specific parameterization during inference (such as noise/data prediction), which might not be the optimal choice. In this work, we propose a novel formulation towards the optimal parameterization during sampling that minimizes the first-order discretization error of the ODE solution. Based on such formulation, we propose DPM-Solver-v3, a new fast ODE solver for DPMs by introducing several coefficients efficiently computed on the pretrained model, which we call empirical model statistics. We further incorporate multistep methods and a predictor-corrector framework, and propose some techniques for improving sample quality at small numbers of function evaluations (NFE) or large guidance scales. Experiments show that DPM-Solver-v3 achieves consistently better or comparable performance in both unconditional and conditional sampling with both pixel-space and latent-space DPMs, especially in 5sim10 NFEs. We achieve FIDs of 12.21 (5 NFE), 2.51 (10 NFE) on unconditional CIFAR10, and MSE of 0.55 (5 NFE, 7.5 guidance scale) on Stable Diffusion, bringing a speed-up of 15\%sim30\% compared to previous state-of-the-art training-free methods. Code is available at https://github.com/thu-ml/DPM-Solver-v3.