GAS: Verbesserung der Diskretisierung von Diffusions-ODEs durch einen generalisierten adversariellen Löser

GAS: Improving Discretization of Diffusion ODEs via Generalized Adversarial Solver

October 20, 2025

papers.authors: Aleksandr Oganov, Ilya Bykov, Eva Neudachina, Mishan Aliev, Alexander Tolmachev, Alexander Sidorov, Aleksandr Zuev, Andrey Okhotin, Denis Rakitin, Aibek Alanov

cs.AI

papers.abstract

Während Diffusionsmodelle eine erstklassige Generierungsqualität erreichen, leiden sie immer noch unter rechenintensivem Sampling. Neuere Arbeiten adressieren dieses Problem mit gradientenbasierten Optimierungsmethoden, die einen ODE-Diffusionslöser mit wenigen Schritten aus dem vollständigen Sampling-Prozess destillieren und so die Anzahl der Funktionsauswertungen von Dutzenden auf nur wenige reduzieren. Diese Ansätze verlassen sich jedoch oft auf komplexe Trainingstechniken und konzentrieren sich nicht explizit auf die Bewahrung feinster Details. In dieser Arbeit führen wir den Generalisierten Löser ein: eine einfache Parametrisierung des ODE-Samplers, die keine zusätzlichen Trainingstricks erfordert und die Qualität gegenüber bestehenden Ansätzen verbessert. Wir kombinieren weiterhin den ursprünglichen Destillationsverlust mit adversariellem Training, was Artefakte reduziert und die Detailtreue erhöht. Die resultierende Methode nennen wir den Generalisierten Adversariellen Löser und demonstrieren seine überlegene Leistung im Vergleich zu bestehenden Löser-Trainingsmethoden unter ähnlichen Ressourcenbeschränkungen. Der Code ist verfügbar unter https://github.com/3145tttt/GAS.

English

While diffusion models achieve state-of-the-art generation quality, they still suffer from computationally expensive sampling. Recent works address this issue with gradient-based optimization methods that distill a few-step ODE diffusion solver from the full sampling process, reducing the number of function evaluations from dozens to just a few. However, these approaches often rely on intricate training techniques and do not explicitly focus on preserving fine-grained details. In this paper, we introduce the Generalized Solver: a simple parameterization of the ODE sampler that does not require additional training tricks and improves quality over existing approaches. We further combine the original distillation loss with adversarial training, which mitigates artifacts and enhances detail fidelity. We call the resulting method the Generalized Adversarial Solver and demonstrate its superior performance compared to existing solver training methods under similar resource constraints. Code is available at https://github.com/3145tttt/GAS.