Rafforzare i Modelli di Diffusione tramite Ottimizzazione Diretta delle Preferenze di Gruppo

Reinforcing Diffusion Models by Direct Group Preference Optimization

October 9, 2025

Autori: Yihong Luo, Tianyang Hu, Jing Tang

cs.AI

Abstract

Mentre i metodi di apprendimento per rinforzo come l'Optimizzazione delle Preferenze Relative di Gruppo (GRPO) hanno migliorato significativamente i Modelli Linguistici di Grande Scala, adattarli ai modelli di diffusione rimane una sfida. In particolare, GRPO richiede una politica stocastica, mentre i campionatori di diffusione più economici si basano su ODE deterministiche. Recenti lavori affrontano questo problema utilizzando campionatori basati su SDE inefficienti per indurre stocasticità, ma questa dipendenza dal rumore gaussiano indipendente dal modello porta a una convergenza lenta. Per risolvere questo conflitto, proponiamo l'Optimizzazione Diretta delle Preferenze di Gruppo (DGPO), un nuovo algoritmo di RL online che elimina completamente il framework del gradiente della politica. DGPO apprende direttamente dalle preferenze a livello di gruppo, che utilizzano informazioni relative dei campioni all'interno dei gruppi. Questo design elimina la necessità di politiche stocastiche inefficienti, consentendo l'uso di campionatori ODE deterministici efficienti e un addestramento più veloce. Risultati estesi dimostrano che DGPO si addestra circa 20 volte più velocemente rispetto ai metodi all'avanguardia esistenti e raggiunge prestazioni superiori sia su metriche di ricompensa in-dominio che out-of-domain. Il codice è disponibile su https://github.com/Luo-Yihong/DGPO.

English

While reinforcement learning methods such as Group Relative Preference Optimization (GRPO) have significantly enhanced Large Language Models, adapting them to diffusion models remains challenging. In particular, GRPO demands a stochastic policy, yet the most cost-effective diffusion samplers are based on deterministic ODEs. Recent work addresses this issue by using inefficient SDE-based samplers to induce stochasticity, but this reliance on model-agnostic Gaussian noise leads to slow convergence. To resolve this conflict, we propose Direct Group Preference Optimization (DGPO), a new online RL algorithm that dispenses with the policy-gradient framework entirely. DGPO learns directly from group-level preferences, which utilize relative information of samples within groups. This design eliminates the need for inefficient stochastic policies, unlocking the use of efficient deterministic ODE samplers and faster training. Extensive results show that DGPO trains around 20 times faster than existing state-of-the-art methods and achieves superior performance on both in-domain and out-of-domain reward metrics. Code is available at https://github.com/Luo-Yihong/DGPO.