Усиление диффузионных моделей с помощью прямой оптимизации групповых предпочтений

Reinforcing Diffusion Models by Direct Group Preference Optimization

October 9, 2025

Авторы: Yihong Luo, Tianyang Hu, Jing Tang

cs.AI

Аннотация

Хотя методы обучения с подкреплением, такие как оптимизация групповых относительных предпочтений (Group Relative Preference Optimization, GRPO), значительно улучшили большие языковые модели, их адаптация к диффузионным моделям остается сложной задачей. В частности, GRPO требует стохастической политики, однако наиболее экономически эффективные сэмплеры для диффузии основаны на детерминированных ОДУ. Недавние работы решают эту проблему, используя неэффективные сэмплеры на основе СДУ для создания стохастичности, но эта зависимость от модельно-независимого гауссовского шума приводит к медленной сходимости. Чтобы устранить это противоречие, мы предлагаем Direct Group Preference Optimization (DGPO) — новый онлайн-алгоритм обучения с подкреплением, который полностью отказывается от фреймворка градиента политики. DGPO обучается непосредственно на основе групповых предпочтений, которые используют относительную информацию о выборках внутри групп. Такой дизайн устраняет необходимость в неэффективных стохастических политиках, позволяя использовать эффективные детерминированные сэмплеры ОДУ и ускоряя обучение. Обширные результаты показывают, что DGPO обучается примерно в 20 раз быстрее, чем современные методы, и демонстрирует превосходную производительность как на внутридоменных, так и на внедоменных метриках вознаграждения. Код доступен по адресу https://github.com/Luo-Yihong/DGPO.

English

While reinforcement learning methods such as Group Relative Preference Optimization (GRPO) have significantly enhanced Large Language Models, adapting them to diffusion models remains challenging. In particular, GRPO demands a stochastic policy, yet the most cost-effective diffusion samplers are based on deterministic ODEs. Recent work addresses this issue by using inefficient SDE-based samplers to induce stochasticity, but this reliance on model-agnostic Gaussian noise leads to slow convergence. To resolve this conflict, we propose Direct Group Preference Optimization (DGPO), a new online RL algorithm that dispenses with the policy-gradient framework entirely. DGPO learns directly from group-level preferences, which utilize relative information of samples within groups. This design eliminates the need for inefficient stochastic policies, unlocking the use of efficient deterministic ODE samplers and faster training. Extensive results show that DGPO trains around 20 times faster than existing state-of-the-art methods and achieves superior performance on both in-domain and out-of-domain reward metrics. Code is available at https://github.com/Luo-Yihong/DGPO.