Unterschiedbare Löser-Suche für schnelle Diffusionsabtastung

Differentiable Solver Search for Fast Diffusion Sampling

May 27, 2025

Autoren: Shuai Wang, Zexian Li, Qipeng zhang, Tianhui Song, Xubin Li, Tiezheng Ge, Bo Zheng, Limin Wang

cs.AI

Zusammenfassung

Diffusionsmodelle haben eine bemerkenswerte Generierungsqualität gezeigt, jedoch auf Kosten zahlreicher Funktionsauswertungen. Kürzlich wurden fortschrittliche ODE-basierte Solver entwickelt, um den erheblichen Rechenaufwand der Rückwärtsdiffusion bei begrenzten Abtastschritten zu verringern. Diese Solver, die stark von Adams-ähnlichen Mehrschrittverfahren inspiriert sind, stützen sich jedoch ausschließlich auf t-bezogene Lagrange-Interpolation. Wir zeigen, dass t-bezogene Lagrange-Interpolation für Diffusionsmodelle suboptimal ist und enthüllen einen kompakten Suchraum, der aus Zeitschritten und Solver-Koeffizienten besteht. Aufbauend auf unserer Analyse schlagen wir einen neuartigen differenzierbaren Solver-Suchalgorithmus vor, um einen optimaleren Solver zu identifizieren. Ausgestattet mit dem gesuchten Solver erreichen korrigierte Flussmodelle, wie z.B. SiT-XL/2 und FlowDCN-XL/2, FID-Werte von 2,40 bzw. 2,35 auf ImageNet256 mit nur 10 Schritten. Gleichzeitig erreicht das DDPM-Modell DiT-XL/2 einen FID-Wert von 2,33 mit nur 10 Schritten. Bemerkenswerterweise übertrifft unser gesuchter Solver traditionelle Solver deutlich. Darüber hinaus zeigt unser gesuchter Solver eine breite Anwendbarkeit über verschiedene Modellarchitekturen, Auflösungen und Modellgrößen hinweg.

English

Diffusion models have demonstrated remarkable generation quality but at the cost of numerous function evaluations. Recently, advanced ODE-based solvers have been developed to mitigate the substantial computational demands of reverse-diffusion solving under limited sampling steps. However, these solvers, heavily inspired by Adams-like multistep methods, rely solely on t-related Lagrange interpolation. We show that t-related Lagrange interpolation is suboptimal for diffusion model and reveal a compact search space comprised of time steps and solver coefficients. Building on our analysis, we propose a novel differentiable solver search algorithm to identify more optimal solver. Equipped with the searched solver, rectified-flow models, e.g., SiT-XL/2 and FlowDCN-XL/2, achieve FID scores of 2.40 and 2.35, respectively, on ImageNet256 with only 10 steps. Meanwhile, DDPM model, DiT-XL/2, reaches a FID score of 2.33 with only 10 steps. Notably, our searched solver outperforms traditional solvers by a significant margin. Moreover, our searched solver demonstrates generality across various model architectures, resolutions, and model sizes.