GAS : Amélioration de la discrétisation des EDO de diffusion via un solveur adversaire généralisé

GAS: Improving Discretization of Diffusion ODEs via Generalized Adversarial Solver

October 20, 2025

papers.authors: Aleksandr Oganov, Ilya Bykov, Eva Neudachina, Mishan Aliev, Alexander Tolmachev, Alexander Sidorov, Aleksandr Zuev, Andrey Okhotin, Denis Rakitin, Aibek Alanov

cs.AI

papers.abstract

Bien que les modèles de diffusion atteignent une qualité de génération de pointe, ils souffrent toujours d'un échantillonnage coûteux en termes de calcul. Des travaux récents abordent ce problème avec des méthodes d'optimisation basées sur le gradient, qui distille un solveur ODE de diffusion en quelques étapes à partir du processus d'échantillonnage complet, réduisant ainsi le nombre d'évaluations de fonctions de plusieurs dizaines à seulement quelques-unes. Cependant, ces approches reposent souvent sur des techniques d'entraînement complexes et ne se concentrent pas explicitement sur la préservation des détails fins. Dans cet article, nous introduisons le Solveur Généralisé : une paramétrisation simple de l'échantillonneur ODE qui ne nécessite pas de techniques d'entraînement supplémentaires et améliore la qualité par rapport aux approches existantes. Nous combinons en outre la perte de distillation originale avec un entraînement adversarial, ce qui atténue les artefacts et améliore la fidélité des détails. Nous appelons la méthode résultante le Solveur Adversarial Généralisé et démontrons sa performance supérieure par rapport aux méthodes d'entraînement de solveur existantes sous des contraintes de ressources similaires. Le code est disponible à l'adresse https://github.com/3145tttt/GAS.

English

While diffusion models achieve state-of-the-art generation quality, they still suffer from computationally expensive sampling. Recent works address this issue with gradient-based optimization methods that distill a few-step ODE diffusion solver from the full sampling process, reducing the number of function evaluations from dozens to just a few. However, these approaches often rely on intricate training techniques and do not explicitly focus on preserving fine-grained details. In this paper, we introduce the Generalized Solver: a simple parameterization of the ODE sampler that does not require additional training tricks and improves quality over existing approaches. We further combine the original distillation loss with adversarial training, which mitigates artifacts and enhances detail fidelity. We call the resulting method the Generalized Adversarial Solver and demonstrate its superior performance compared to existing solver training methods under similar resource constraints. Code is available at https://github.com/3145tttt/GAS.