GAS: Улучшение дискретизации диффузионных ОДУ с помощью обобщённого адверсариального решателя

GAS: Improving Discretization of Diffusion ODEs via Generalized Adversarial Solver

October 20, 2025

Авторы: Aleksandr Oganov, Ilya Bykov, Eva Neudachina, Mishan Aliev, Alexander Tolmachev, Alexander Sidorov, Aleksandr Zuev, Andrey Okhotin, Denis Rakitin, Aibek Alanov

cs.AI

Аннотация

Хотя диффузионные модели достигают наивысшего качества генерации, они по-прежнему страдают от вычислительно затратного процесса сэмплирования. В последних работах эта проблема решается с помощью методов оптимизации на основе градиентов, которые извлекают ODE-решатель диффузии с малым количеством шагов из полного процесса сэмплирования, сокращая количество вычислений функций с десятков до нескольких. Однако эти подходы часто полагаются на сложные методы обучения и не уделяют явного внимания сохранению мелкозернистых деталей. В данной статье мы представляем Обобщённый Решатель: простую параметризацию ODE-сэмплера, которая не требует дополнительных трюков в обучении и улучшает качество по сравнению с существующими подходами. Мы также комбинируем исходную функцию потерь для дистилляции с состязательным обучением, что уменьшает артефакты и повышает точность деталей. Полученный метод мы называем Обобщённым Состязательным Решателем и демонстрируем его превосходную производительность по сравнению с существующими методами обучения решателей при схожих ограничениях ресурсов. Код доступен по адресу https://github.com/3145tttt/GAS.

English

While diffusion models achieve state-of-the-art generation quality, they still suffer from computationally expensive sampling. Recent works address this issue with gradient-based optimization methods that distill a few-step ODE diffusion solver from the full sampling process, reducing the number of function evaluations from dozens to just a few. However, these approaches often rely on intricate training techniques and do not explicitly focus on preserving fine-grained details. In this paper, we introduce the Generalized Solver: a simple parameterization of the ODE sampler that does not require additional training tricks and improves quality over existing approaches. We further combine the original distillation loss with adversarial training, which mitigates artifacts and enhances detail fidelity. We call the resulting method the Generalized Adversarial Solver and demonstrate its superior performance compared to existing solver training methods under similar resource constraints. Code is available at https://github.com/3145tttt/GAS.