Optimale stapgrootte voor diffusiebemonstering

Optimal Stepsize for Diffusion Sampling

March 27, 2025

Auteurs: Jianning Pei, Han Hu, Shuyang Gu

cs.AI

Samenvatting

Diffusiemodellen bereiken opmerkelijke generatiekwaliteit, maar lijden onder computational intensieve sampling vanwege suboptimale stapdiscretisatie. Terwijl bestaande werken zich richten op het optimaliseren van denoiseringsrichtingen, pakken wij de principiële ontwerp van stapgrootte schema's aan. Dit artikel stelt Optimal Stepsize Distillation voor, een dynamisch programmeerkader dat theoretisch optimale schema's extracteert door kennis te distilleren uit referentietrajecten. Door stapgrootte optimalisatie te herformuleren als recursieve foutminimalisatie, garandeert onze methode globale discretisatiegrenzen door optimale substructuur exploitatie. Cruciaal is dat de gedistilleerde schema's sterke robuustheid demonstreren over architecturen, ODE-oplossers en ruisschema's. Experimenten tonen een 10x versnelde tekst-naar-beeld generatie terwijl 99,4% prestaties worden behouden op GenEval. Onze code is beschikbaar op https://github.com/bebebe666/OptimalSteps.

English

Diffusion models achieve remarkable generation quality but suffer from computational intensive sampling due to suboptimal step discretization. While existing works focus on optimizing denoising directions, we address the principled design of stepsize schedules. This paper proposes Optimal Stepsize Distillation, a dynamic programming framework that extracts theoretically optimal schedules by distilling knowledge from reference trajectories. By reformulating stepsize optimization as recursive error minimization, our method guarantees global discretization bounds through optimal substructure exploitation. Crucially, the distilled schedules demonstrate strong robustness across architectures, ODE solvers, and noise schedules. Experiments show 10x accelerated text-to-image generation while preserving 99.4% performance on GenEval. Our code is available at https://github.com/bebebe666/OptimalSteps.