Pas optimal pour l'échantillonnage par diffusion

Optimal Stepsize for Diffusion Sampling

March 27, 2025

Auteurs: Jianning Pei, Han Hu, Shuyang Gu

cs.AI

Résumé

Les modèles de diffusion atteignent une qualité de génération remarquable mais souffrent d'un échantillonnage intensif en calcul en raison d'une discrétisation des étapes sous-optimale. Alors que les travaux existants se concentrent sur l'optimisation des directions de débruitage, nous abordons la conception rigoureuse des plans de pas. Cet article propose l'Optimal Stepsize Distillation, un cadre de programmation dynamique qui extrait des plans théoriquement optimaux en distillant des connaissances à partir de trajectoires de référence. En reformulant l'optimisation des pas comme une minimisation récursive de l'erreur, notre méthode garantit des bornes globales de discrétisation grâce à l'exploitation de sous-structures optimales. De manière cruciale, les plans distillés démontrent une robustesse forte à travers les architectures, les solveurs d'équations différentielles ordinaires (ODE) et les plans de bruit. Les expériences montrent une accélération par 10 de la génération texte-image tout en préservant 99,4 % des performances sur GenEval. Notre code est disponible à l'adresse https://github.com/bebebe666/OptimalSteps.

English

Diffusion models achieve remarkable generation quality but suffer from computational intensive sampling due to suboptimal step discretization. While existing works focus on optimizing denoising directions, we address the principled design of stepsize schedules. This paper proposes Optimal Stepsize Distillation, a dynamic programming framework that extracts theoretically optimal schedules by distilling knowledge from reference trajectories. By reformulating stepsize optimization as recursive error minimization, our method guarantees global discretization bounds through optimal substructure exploitation. Crucially, the distilled schedules demonstrate strong robustness across architectures, ODE solvers, and noise schedules. Experiments show 10x accelerated text-to-image generation while preserving 99.4% performance on GenEval. Our code is available at https://github.com/bebebe666/OptimalSteps.