Búsqueda de Solucionadores Diferenciables para Muestreo Rápido en Difusión

Differentiable Solver Search for Fast Diffusion Sampling

May 27, 2025

Autores: Shuai Wang, Zexian Li, Qipeng zhang, Tianhui Song, Xubin Li, Tiezheng Ge, Bo Zheng, Limin Wang

cs.AI

Resumen

Los modelos de difusión han demostrado una calidad de generación notable, pero a costa de numerosas evaluaciones de funciones. Recientemente, se han desarrollado solucionadores avanzados basados en ODE para mitigar las demandas computacionales sustanciales de la resolución de difusión inversa con un número limitado de pasos de muestreo. Sin embargo, estos solucionadores, fuertemente inspirados en métodos de múltiples pasos tipo Adams, dependen únicamente de la interpolación de Lagrange relacionada con t. Mostramos que la interpolación de Lagrange relacionada con t es subóptima para los modelos de difusión y revelamos un espacio de búsqueda compacto compuesto por pasos de tiempo y coeficientes del solucionador. Basándonos en nuestro análisis, proponemos un novedoso algoritmo de búsqueda de solucionadores diferenciables para identificar solucionadores más óptimos. Equipados con el solucionador buscado, los modelos de flujo rectificado, por ejemplo, SiT-XL/2 y FlowDCN-XL/2, alcanzan puntuaciones FID de 2.40 y 2.35, respectivamente, en ImageNet256 con solo 10 pasos. Mientras tanto, el modelo DDPM, DiT-XL/2, alcanza una puntuación FID de 2.33 con solo 10 pasos. Notablemente, nuestro solucionador buscado supera a los solucionadores tradicionales por un margen significativo. Además, nuestro solucionador buscado demuestra generalidad en varias arquitecturas de modelos, resoluciones y tamaños de modelos.

English

Diffusion models have demonstrated remarkable generation quality but at the cost of numerous function evaluations. Recently, advanced ODE-based solvers have been developed to mitigate the substantial computational demands of reverse-diffusion solving under limited sampling steps. However, these solvers, heavily inspired by Adams-like multistep methods, rely solely on t-related Lagrange interpolation. We show that t-related Lagrange interpolation is suboptimal for diffusion model and reveal a compact search space comprised of time steps and solver coefficients. Building on our analysis, we propose a novel differentiable solver search algorithm to identify more optimal solver. Equipped with the searched solver, rectified-flow models, e.g., SiT-XL/2 and FlowDCN-XL/2, achieve FID scores of 2.40 and 2.35, respectively, on ImageNet256 with only 10 steps. Meanwhile, DDPM model, DiT-XL/2, reaches a FID score of 2.33 with only 10 steps. Notably, our searched solver outperforms traditional solvers by a significant margin. Moreover, our searched solver demonstrates generality across various model architectures, resolutions, and model sizes.