Differentieerbare Solver Zoektocht voor Snelle Diffusie Bemonstering

Differentiable Solver Search for Fast Diffusion Sampling

May 27, 2025

Auteurs: Shuai Wang, Zexian Li, Qipeng zhang, Tianhui Song, Xubin Li, Tiezheng Ge, Bo Zheng, Limin Wang

cs.AI

Samenvatting

Diffusiemodellen hebben een opmerkelijke generatiekwaliteit getoond, maar tegen de kosten van talrijke functie-evaluaties. Recentelijk zijn geavanceerde ODE-gebaseerde oplossers ontwikkeld om de aanzienlijke rekenkundige eisen van reverse-diffusie-oplossing bij beperkte steekproefstappen te verminderen. Deze oplossers, die sterk geïnspireerd zijn door Adams-achtige meerstapsmethoden, vertrouwen echter uitsluitend op t-gerelateerde Lagrange-interpolatie. Wij tonen aan dat t-gerelateerde Lagrange-interpolatie suboptimaal is voor diffusiemodellen en onthullen een compacte zoekruimte die bestaat uit tijdstappen en oplossercoëfficiënten. Op basis van onze analyse stellen we een nieuw differentieerbaar oplosserzoekalgoritme voor om een meer optimale oplosser te identificeren. Uitgerust met de gezochte oplosser behalen rectified-flow-modellen, zoals SiT-XL/2 en FlowDCN-XL/2, respectievelijk FID-scores van 2.40 en 2.35 op ImageNet256 met slechts 10 stappen. Tegelijkertijd bereikt het DDPM-model, DiT-XL/2, een FID-score van 2.33 met slechts 10 stappen. Opmerkelijk is dat onze gezochte oplosser traditionele oplossers met een aanzienlijke marge overtreft. Bovendien toont onze gezochte oplosser generaliseerbaarheid over verschillende modelarchitecturen, resoluties en modelgroottes.

English

Diffusion models have demonstrated remarkable generation quality but at the cost of numerous function evaluations. Recently, advanced ODE-based solvers have been developed to mitigate the substantial computational demands of reverse-diffusion solving under limited sampling steps. However, these solvers, heavily inspired by Adams-like multistep methods, rely solely on t-related Lagrange interpolation. We show that t-related Lagrange interpolation is suboptimal for diffusion model and reveal a compact search space comprised of time steps and solver coefficients. Building on our analysis, we propose a novel differentiable solver search algorithm to identify more optimal solver. Equipped with the searched solver, rectified-flow models, e.g., SiT-XL/2 and FlowDCN-XL/2, achieve FID scores of 2.40 and 2.35, respectively, on ImageNet256 with only 10 steps. Meanwhile, DDPM model, DiT-XL/2, reaches a FID score of 2.33 with only 10 steps. Notably, our searched solver outperforms traditional solvers by a significant margin. Moreover, our searched solver demonstrates generality across various model architectures, resolutions, and model sizes.