f-GRPO y más allá: Algoritmos de Aprendizaje por Refuerzo Basados en Divergencia para la Alineación General de Modelos de Lenguaje Grandes
f-GRPO and Beyond: Divergence-Based Reinforcement Learning Algorithms for General LLM Alignment
February 5, 2026
Autores: Rajdeep Haldar, Lantao Mei, Guang Lin, Yue Xing, Qifan Song
cs.AI
Resumen
Investigaciones recientes demuestran que los objetivos de Alineamiento de Preferencias (AP) actúan como estimadores de divergencia entre distribuciones de respuestas alineadas (elegidas) y no alineadas (rechazadas). En este trabajo, extendemos esta perspectiva basada en divergencia a entornos de alineamiento generales, como el aprendizaje por refuerzo con recompensas verificables (RLVR), donde solo se dispone de recompensas ambientales. Dentro de este marco unificado, proponemos la Optimización de Políticas Relativas para Grupos-f (f-GRPO), una clase de aprendizaje por refuerzo *on-policy*, y la Pérdida de Alineamiento Híbrida-f (f-HAL), objetivos híbridos *on/off-policy*, para el alineamiento general de LLM basados en la representación variacional de las f-divergencias. Proveemos garantías teóricas de que estas clases de objetivos mejoran la recompensa promedio tras el alineamiento. Empíricamente, validamos nuestro marco en tareas tanto de RLVR (Razonamiento Matemático) como de AP (Alineamiento de Seguridad), demostrando un rendimiento y flexibilidad superiores en comparación con métodos actuales.
English
Recent research shows that Preference Alignment (PA) objectives act as divergence estimators between aligned (chosen) and unaligned (rejected) response distributions. In this work, we extend this divergence-based perspective to general alignment settings, such as reinforcement learning with verifiable rewards (RLVR), where only environmental rewards are available. Within this unified framework, we propose f-Group Relative Policy Optimization (f-GRPO), a class of on-policy reinforcement learning, and f-Hybrid Alignment Loss (f-HAL), a hybrid on/off policy objectives, for general LLM alignment based on variational representation of f-divergences. We provide theoretical guarantees that these classes of objectives improve the average reward after alignment. Empirically, we validate our framework on both RLVR (Math Reasoning) and PA tasks (Safety Alignment), demonstrating superior performance and flexibility compared to current methods.