GAS: Verbetering van de discretisatie van diffusie-ODE's via een gegeneraliseerde adversariële solver

GAS: Improving Discretization of Diffusion ODEs via Generalized Adversarial Solver

October 20, 2025

Auteurs: Aleksandr Oganov, Ilya Bykov, Eva Neudachina, Mishan Aliev, Alexander Tolmachev, Alexander Sidorov, Aleksandr Zuev, Andrey Okhotin, Denis Rakitin, Aibek Alanov

cs.AI

Samenvatting

Hoewel diffusiemodellen de beste generatiekwaliteit bereiken, lijden ze nog steeds onder computationeel kostbare sampling. Recente werken pakken dit probleem aan met op gradienten gebaseerde optimalisatiemethoden die een ODE-diffusieoplosser met weinig stappen destilleren uit het volledige samplingproces, waardoor het aantal functie-evaluaties wordt teruggebracht van tientallen naar slechts enkele. Deze benaderingen vertrouwen echter vaak op ingewikkelde trainingstechnieken en richten zich niet expliciet op het behoud van fijne details. In dit artikel introduceren we de Generalized Solver: een eenvoudige parameterisatie van de ODE-sampler die geen aanvullende trainingstrucs vereist en de kwaliteit verbetert ten opzichte van bestaande benaderingen. We combineren verder het oorspronkelijke distillatieverlies met adversarial training, wat artefacten vermindert en de detailgetrouwheid verbetert. We noemen de resulterende methode de Generalized Adversarial Solver en demonstreren de superieure prestaties in vergelijking met bestaande solver-trainingsmethoden onder vergelijkbare resourcebeperkingen. Code is beschikbaar op https://github.com/3145tttt/GAS.

English

While diffusion models achieve state-of-the-art generation quality, they still suffer from computationally expensive sampling. Recent works address this issue with gradient-based optimization methods that distill a few-step ODE diffusion solver from the full sampling process, reducing the number of function evaluations from dozens to just a few. However, these approaches often rely on intricate training techniques and do not explicitly focus on preserving fine-grained details. In this paper, we introduce the Generalized Solver: a simple parameterization of the ODE sampler that does not require additional training tricks and improves quality over existing approaches. We further combine the original distillation loss with adversarial training, which mitigates artifacts and enhances detail fidelity. We call the resulting method the Generalized Adversarial Solver and demonstrate its superior performance compared to existing solver training methods under similar resource constraints. Code is available at https://github.com/3145tttt/GAS.