Renforcement des modèles de diffusion par optimisation directe des préférences de groupe

Reinforcing Diffusion Models by Direct Group Preference Optimization

October 9, 2025

papers.authors: Yihong Luo, Tianyang Hu, Jing Tang

cs.AI

papers.abstract

Bien que les méthodes d'apprentissage par renforcement telles que l'Optimisation des Préférences Relatives par Groupe (GRPO) aient considérablement amélioré les modèles de langage de grande taille, leur adaptation aux modèles de diffusion reste un défi. En particulier, GRPO nécessite une politique stochastique, alors que les échantillonneurs de diffusion les plus économiques sont basés sur des équations différentielles ordinaires (EDO) déterministes. Des travaux récents abordent ce problème en utilisant des échantillonneurs basés sur des équations différentielles stochastiques (EDS) inefficaces pour induire une stochasticité, mais cette dépendance au bruit gaussien indépendant du modèle entraîne une convergence lente. Pour résoudre ce conflit, nous proposons l'Optimisation Directe des Préférences par Groupe (DGPO), un nouvel algorithme d'apprentissage par renforcement en ligne qui abandonne entièrement le cadre des gradients de politique. DGPO apprend directement à partir des préférences au niveau du groupe, qui exploitent les informations relatives des échantillons au sein des groupes. Cette conception élimine le besoin de politiques stochastiques inefficaces, permettant l'utilisation d'échantillonneurs EDO déterministes efficaces et un entraînement plus rapide. Des résultats approfondis montrent que DGPO s'entraîne environ 20 fois plus vite que les méthodes de pointe existantes et obtient des performances supérieures sur les métriques de récompense intra-domaines et extra-domaines. Le code est disponible à l'adresse https://github.com/Luo-Yihong/DGPO.

English

While reinforcement learning methods such as Group Relative Preference Optimization (GRPO) have significantly enhanced Large Language Models, adapting them to diffusion models remains challenging. In particular, GRPO demands a stochastic policy, yet the most cost-effective diffusion samplers are based on deterministic ODEs. Recent work addresses this issue by using inefficient SDE-based samplers to induce stochasticity, but this reliance on model-agnostic Gaussian noise leads to slow convergence. To resolve this conflict, we propose Direct Group Preference Optimization (DGPO), a new online RL algorithm that dispenses with the policy-gradient framework entirely. DGPO learns directly from group-level preferences, which utilize relative information of samples within groups. This design eliminates the need for inefficient stochastic policies, unlocking the use of efficient deterministic ODE samplers and faster training. Extensive results show that DGPO trains around 20 times faster than existing state-of-the-art methods and achieves superior performance on both in-domain and out-of-domain reward metrics. Code is available at https://github.com/Luo-Yihong/DGPO.