Оптимальный размер шага для сэмплирования диффузии

Optimal Stepsize for Diffusion Sampling

March 27, 2025

Авторы: Jianning Pei, Han Hu, Shuyang Gu

cs.AI

Аннотация

Диффузионные модели демонстрируют выдающееся качество генерации, но сталкиваются с проблемой вычислительно затратного сэмплирования из-за неоптимальной дискретизации шагов. В то время как существующие работы сосредоточены на оптимизации направлений удаления шума, мы предлагаем принципиальный подход к проектированию расписаний шагов. В данной статье представлен метод Оптимальной Дистилляции Шагов — фреймворк динамического программирования, который извлекает теоретически оптимальные расписания, дистиллируя знания из референсных траекторий. Переформулируя оптимизацию шагов как рекурсивную минимизацию ошибки, наш метод гарантирует глобальные границы дискретизации за счет использования оптимальной подструктуры. Важно отметить, что полученные расписания демонстрируют высокую устойчивость к различным архитектурам, решателям ОДУ и расписаниям шума. Эксперименты показывают ускорение генерации текста в изображение в 10 раз при сохранении 99,4% производительности на GenEval. Наш код доступен по адресу https://github.com/bebebe666/OptimalSteps.

English

Diffusion models achieve remarkable generation quality but suffer from computational intensive sampling due to suboptimal step discretization. While existing works focus on optimizing denoising directions, we address the principled design of stepsize schedules. This paper proposes Optimal Stepsize Distillation, a dynamic programming framework that extracts theoretically optimal schedules by distilling knowledge from reference trajectories. By reformulating stepsize optimization as recursive error minimization, our method guarantees global discretization bounds through optimal substructure exploitation. Crucially, the distilled schedules demonstrate strong robustness across architectures, ODE solvers, and noise schedules. Experiments show 10x accelerated text-to-image generation while preserving 99.4% performance on GenEval. Our code is available at https://github.com/bebebe666/OptimalSteps.