GAS: 일반화된 적대적 솔버를 통한 확산 ODE 이산화 개선

초록

확산 모델은 최첨단 생성 품질을 달성했지만, 여전히 계산 비용이 많이 드는 샘플링 문제를 겪고 있습니다. 최근 연구들은 전체 샘플링 과정에서 몇 단계의 ODE 확산 솔버를 추출하는 그래디언트 기반 최적화 방법을 통해 이 문제를 해결하고자 하여, 함수 평가 횟수를 수십 번에서 단 몇 번으로 줄였습니다. 그러나 이러한 접근 방식은 종종 복잡한 훈련 기법에 의존하며, 미세한 세부 사항을 보존하는 데 명시적으로 초점을 맞추지 않습니다. 본 논문에서는 추가적인 훈련 기법 없이도 기존 접근 방식보다 품질을 향상시키는 ODE 샘플러의 간단한 파라미터화인 Generalized Solver를 소개합니다. 또한, 원래의 추출 손실 함수에 적대적 훈련을 결합하여 아티팩트를 완화하고 세부 충실도를 향상시킵니다. 이를 Generalized Adversarial Solver라고 명명하며, 유사한 자원 제약 하에서 기존 솔버 훈련 방법과 비교하여 우수한 성능을 입증합니다. 코드는 https://github.com/3145tttt/GAS에서 확인할 수 있습니다.

English

While diffusion models achieve state-of-the-art generation quality, they still suffer from computationally expensive sampling. Recent works address this issue with gradient-based optimization methods that distill a few-step ODE diffusion solver from the full sampling process, reducing the number of function evaluations from dozens to just a few. However, these approaches often rely on intricate training techniques and do not explicitly focus on preserving fine-grained details. In this paper, we introduce the Generalized Solver: a simple parameterization of the ODE sampler that does not require additional training tricks and improves quality over existing approaches. We further combine the original distillation loss with adversarial training, which mitigates artifacts and enhances detail fidelity. We call the resulting method the Generalized Adversarial Solver and demonstrate its superior performance compared to existing solver training methods under similar resource constraints. Code is available at https://github.com/3145tttt/GAS.

GAS: 일반화된 적대적 솔버를 통한 확산 ODE 이산화 개선

GAS: Improving Discretization of Diffusion ODEs via Generalized Adversarial Solver

초록

Support