GAS: Miglioramento della Discretizzazione delle ODE di Diffusione tramite Solver Adversarial Generalizzato

GAS: Improving Discretization of Diffusion ODEs via Generalized Adversarial Solver

October 20, 2025

Autori: Aleksandr Oganov, Ilya Bykov, Eva Neudachina, Mishan Aliev, Alexander Tolmachev, Alexander Sidorov, Aleksandr Zuev, Andrey Okhotin, Denis Rakitin, Aibek Alanov

cs.AI

Abstract

Sebbene i modelli di diffusione raggiungano una qualità di generazione all'avanguardia, continuano a soffrire di un campionamento computazionalmente costoso. Recenti lavori affrontano questo problema con metodi di ottimizzazione basati su gradienti che distillano un risolutore ODE di diffusione a pochi passi dal processo di campionamento completo, riducendo il numero di valutazioni di funzioni da decine a poche. Tuttavia, questi approcci spesso si basano su tecniche di addestramento intricate e non si concentrano esplicitamente sulla preservazione di dettagli fini. In questo articolo, introduciamo il Risolutore Generalizzato: una semplice parametrizzazione del campionatore ODE che non richiede trucchi di addestramento aggiuntivi e migliora la qualità rispetto agli approcci esistenti. Combiniamo ulteriormente la perdita di distillazione originale con l'addestramento avversario, che mitiga gli artefatti e migliora la fedeltà dei dettagli. Chiamiamo il metodo risultante Risolutore Avversario Generalizzato e dimostriamo la sua prestazione superiore rispetto ai metodi di addestramento dei risolutori esistenti sotto vincoli di risorse simili. Il codice è disponibile all'indirizzo https://github.com/3145tttt/GAS.

English

While diffusion models achieve state-of-the-art generation quality, they still suffer from computationally expensive sampling. Recent works address this issue with gradient-based optimization methods that distill a few-step ODE diffusion solver from the full sampling process, reducing the number of function evaluations from dozens to just a few. However, these approaches often rely on intricate training techniques and do not explicitly focus on preserving fine-grained details. In this paper, we introduce the Generalized Solver: a simple parameterization of the ODE sampler that does not require additional training tricks and improves quality over existing approaches. We further combine the original distillation loss with adversarial training, which mitigates artifacts and enhances detail fidelity. We call the resulting method the Generalized Adversarial Solver and demonstrate its superior performance compared to existing solver training methods under similar resource constraints. Code is available at https://github.com/3145tttt/GAS.