확산 샘플링을 위한 최적의 스텝 크기

Optimal Stepsize for Diffusion Sampling

March 27, 2025

저자: Jianning Pei, Han Hu, Shuyang Gu

cs.AI

초록

확산 모델은 뛰어난 생성 품질을 달성하지만, 최적이 아닌 단계 이산화로 인해 계산 집약적인 샘플링 문제를 겪습니다. 기존 연구들이 노이즈 제거 방향 최적화에 초점을 맞춘 반면, 우리는 단계 크기 스케줄의 원칙적 설계에 접근합니다. 본 논문은 참조 궤적에서 지식을 추출하여 이론적으로 최적의 스케줄을 도출하는 동적 프로그래밍 프레임워크인 최적 단계 크기 증류(Optimal Stepsize Distillation)를 제안합니다. 단계 크기 최적화를 재귀적 오차 최소화 문제로 재구성함으로써, 우리의 방법은 최적 부분 구조 활용을 통해 전역 이산화 한계를 보장합니다. 특히, 증류된 스케줄은 아키텍처, ODE 솔버, 노이즈 스케줄 전반에 걸쳐 강력한 견고성을 보여줍니다. 실험 결과, 텍스트-이미지 생성 속도가 10배 가속화되면서도 GenEval에서 99.4%의 성능을 유지함을 확인했습니다. 우리의 코드는 https://github.com/bebebe666/OptimalSteps에서 확인할 수 있습니다.

English

Diffusion models achieve remarkable generation quality but suffer from computational intensive sampling due to suboptimal step discretization. While existing works focus on optimizing denoising directions, we address the principled design of stepsize schedules. This paper proposes Optimal Stepsize Distillation, a dynamic programming framework that extracts theoretically optimal schedules by distilling knowledge from reference trajectories. By reformulating stepsize optimization as recursive error minimization, our method guarantees global discretization bounds through optimal substructure exploitation. Crucially, the distilled schedules demonstrate strong robustness across architectures, ODE solvers, and noise schedules. Experiments show 10x accelerated text-to-image generation while preserving 99.4% performance on GenEval. Our code is available at https://github.com/bebebe666/OptimalSteps.