Passo Ótimo para Amostragem de Difusão

Optimal Stepsize for Diffusion Sampling

March 27, 2025

Autores: Jianning Pei, Han Hu, Shuyang Gu

cs.AI

Resumo

Os modelos de difusão alcançam uma qualidade de geração notável, mas sofrem com amostragem computacionalmente intensiva devido à discretização de passos subótima. Enquanto trabalhos existentes se concentram na otimização das direções de remoção de ruído, abordamos o design fundamentado de cronogramas de tamanho de passo. Este artigo propõe a Destilação de Tamanho de Passo Ótimo, uma estrutura de programação dinâmica que extrai cronogramas teoricamente ótimos ao destilar conhecimento de trajetórias de referência. Ao reformular a otimização do tamanho do passo como uma minimização recursiva de erro, nosso método garante limites globais de discretização por meio da exploração de subestrutura ótima. Crucialmente, os cronogramas destilados demonstram forte robustez em arquiteturas, solucionadores de EDOs e cronogramas de ruído. Experimentos mostram uma aceleração de 10x na geração de texto para imagem, preservando 99,4% do desempenho no GenEval. Nosso código está disponível em https://github.com/bebebe666/OptimalSteps.

English

Diffusion models achieve remarkable generation quality but suffer from computational intensive sampling due to suboptimal step discretization. While existing works focus on optimizing denoising directions, we address the principled design of stepsize schedules. This paper proposes Optimal Stepsize Distillation, a dynamic programming framework that extracts theoretically optimal schedules by distilling knowledge from reference trajectories. By reformulating stepsize optimization as recursive error minimization, our method guarantees global discretization bounds through optimal substructure exploitation. Crucially, the distilled schedules demonstrate strong robustness across architectures, ODE solvers, and noise schedules. Experiments show 10x accelerated text-to-image generation while preserving 99.4% performance on GenEval. Our code is available at https://github.com/bebebe666/OptimalSteps.