Reforzamiento de Modelos de Difusión mediante Optimización Directa de Preferencias de Grupo

Reinforcing Diffusion Models by Direct Group Preference Optimization

October 9, 2025

Autores: Yihong Luo, Tianyang Hu, Jing Tang

cs.AI

Resumen

Si bien los métodos de aprendizaje por refuerzo, como la Optimización de Preferencias Relativas de Grupo (GRPO), han mejorado significativamente los Modelos de Lenguaje a Gran Escala, adaptarlos a modelos de difusión sigue siendo un desafío. En particular, GRPO requiere una política estocástica, pero los muestreadores de difusión más rentables se basan en EDOs deterministas. Trabajos recientes abordan este problema utilizando muestreadores basados en EDEs ineficientes para inducir estocasticidad, pero esta dependencia del ruido gaussiano independiente del modelo conduce a una convergencia lenta. Para resolver este conflicto, proponemos la Optimización Directa de Preferencias de Grupo (DGPO), un nuevo algoritmo de aprendizaje por refuerzo en línea que prescinde por completo del marco de gradiente de políticas. DGPO aprende directamente de las preferencias a nivel de grupo, que utilizan información relativa de las muestras dentro de los grupos. Este diseño elimina la necesidad de políticas estocásticas ineficientes, permitiendo el uso de muestreadores de EDOs deterministas eficientes y un entrenamiento más rápido. Resultados extensos muestran que DGPO entrena aproximadamente 20 veces más rápido que los métodos más avanzados actuales y logra un rendimiento superior tanto en métricas de recompensa dentro del dominio como fuera de él. El código está disponible en https://github.com/Luo-Yihong/DGPO.

English

While reinforcement learning methods such as Group Relative Preference Optimization (GRPO) have significantly enhanced Large Language Models, adapting them to diffusion models remains challenging. In particular, GRPO demands a stochastic policy, yet the most cost-effective diffusion samplers are based on deterministic ODEs. Recent work addresses this issue by using inefficient SDE-based samplers to induce stochasticity, but this reliance on model-agnostic Gaussian noise leads to slow convergence. To resolve this conflict, we propose Direct Group Preference Optimization (DGPO), a new online RL algorithm that dispenses with the policy-gradient framework entirely. DGPO learns directly from group-level preferences, which utilize relative information of samples within groups. This design eliminates the need for inefficient stochastic policies, unlocking the use of efficient deterministic ODE samplers and faster training. Extensive results show that DGPO trains around 20 times faster than existing state-of-the-art methods and achieves superior performance on both in-domain and out-of-domain reward metrics. Code is available at https://github.com/Luo-Yihong/DGPO.