Verstärkung von Diffusionsmodellen durch direkte Gruppenpräferenzoptimierung

Reinforcing Diffusion Models by Direct Group Preference Optimization

October 9, 2025

papers.authors: Yihong Luo, Tianyang Hu, Jing Tang

cs.AI

papers.abstract

Während Reinforcement-Learning-Methoden wie Group Relative Preference Optimization (GRPO) große Sprachmodelle erheblich verbessert haben, bleibt die Anpassung an Diffusionsmodelle eine Herausforderung. Insbesondere erfordert GRPO eine stochastische Policy, doch die kosteneffizientesten Diffusionssampler basieren auf deterministischen ODEs. Aktuelle Arbeiten adressieren dieses Problem durch den Einsatz ineffizienter SDE-basierter Sampler, um Stochastizität zu erzeugen, doch die Abhängigkeit von modellagnostischem Gaußschen Rauschen führt zu langsamer Konvergenz. Um diesen Konflikt zu lösen, schlagen wir Direct Group Preference Optimization (DGPO) vor, einen neuen Online-RL-Algorithmus, der den Policy-Gradient-Ansatz vollständig umgeht. DGPO lernt direkt aus gruppenbasierten Präferenzen, die relative Informationen von Proben innerhalb von Gruppen nutzen. Dieser Entwurf eliminiert die Notwendigkeit ineffizienter stochastischer Policies und ermöglicht den Einsatz effizienter deterministischer ODE-Sampler sowie schnelleres Training. Umfangreiche Ergebnisse zeigen, dass DGPO etwa 20-mal schneller trainiert als bestehende State-of-the-Art-Methoden und sowohl bei in-domain als auch out-of-domain Belohnungsmetriken überlegene Leistung erzielt. Der Code ist verfügbar unter https://github.com/Luo-Yihong/DGPO.

English

While reinforcement learning methods such as Group Relative Preference Optimization (GRPO) have significantly enhanced Large Language Models, adapting them to diffusion models remains challenging. In particular, GRPO demands a stochastic policy, yet the most cost-effective diffusion samplers are based on deterministic ODEs. Recent work addresses this issue by using inefficient SDE-based samplers to induce stochasticity, but this reliance on model-agnostic Gaussian noise leads to slow convergence. To resolve this conflict, we propose Direct Group Preference Optimization (DGPO), a new online RL algorithm that dispenses with the policy-gradient framework entirely. DGPO learns directly from group-level preferences, which utilize relative information of samples within groups. This design eliminates the need for inefficient stochastic policies, unlocking the use of efficient deterministic ODE samplers and faster training. Extensive results show that DGPO trains around 20 times faster than existing state-of-the-art methods and achieves superior performance on both in-domain and out-of-domain reward metrics. Code is available at https://github.com/Luo-Yihong/DGPO.