La Elección de la Divergencia: Una Clave Olvidada para Mitigar el Colapso de la Diversidad en el Aprendizaje por Refuerzo con Recompensas Verificables

The Choice of Divergence: A Neglected Key to Mitigating Diversity Collapse in Reinforcement Learning with Verifiable Reward

September 9, 2025

Autores: Long Li, Jiaran Hao, Jason Klein Liu, Zhijian Zhou, Xiaoyu Tan, Wei Chu, Zhe Wang, Shirui Pan, Chao Qu, Yuan Qi

cs.AI

Resumen

Un paradoja central en el ajuste fino de Modelos de Lenguaje a Gran Escala (LLMs) con Aprendizaje por Refuerzo con Recompensa Verificable (RLVR) es la frecuente degradación del rendimiento en múltiples intentos (Pass@k) a pesar de las mejoras en la precisión de un solo intento (Pass@1). Esto suele ir acompañado de un olvido catastrófico, donde los modelos pierden habilidades previamente adquiridas. Aunque se han propuesto varios métodos, la elección y función del término de divergencia han sido sorprendentemente poco examinadas como una solución proactiva. Argumentamos que los objetivos estándar de RLVR —tanto aquellos que utilizan la divergencia KL inversa que busca el modo como aquellos que prescinden por completo de un término de divergencia— carecen de un mecanismo crucial para la retención de conocimiento. La KL inversa acelera activamente esta decadencia al estrechar la política, mientras que su ausencia no proporciona ninguna salvaguardia contra la deriva del modelo desde su base de conocimiento diversa. Proponemos un cambio fundamental de perspectiva: utilizar el término de divergencia como la solución en sí. Nuestro marco, Aprendizaje por Refuerzo Híbrido que Preserva la Diversidad (DPH-RL), aprovecha las divergencias f de cobertura masiva (como la KL directa y la divergencia JS) para funcionar como un mecanismo de repaso. Al hacer referencia continua a la política inicial, este enfoque obliga al modelo a mantener una cobertura amplia de soluciones. Experimentos extensos en generación de matemáticas y SQL demuestran que DPH-RL no solo resuelve la degradación de Pass@k, sino que mejora tanto Pass@1 como Pass@k dentro y fuera del dominio. Además, DPH-RL es más eficiente en términos de entrenamiento porque calcula la divergencia f utilizando funciones generadoras, requiriendo solo muestreo de la política inicial y ningún modelo de referencia en línea. Nuestro trabajo destaca un eje crucial y pasado por alto para mejorar RLVR, demostrando que la selección adecuada de una medida de divergencia es una herramienta poderosa para construir modelos de razonamiento más generales y diversos.

English

A central paradox in fine-tuning Large Language Models (LLMs) with Reinforcement Learning with Verifiable Reward (RLVR) is the frequent degradation of multi-attempt performance (Pass@k) despite improvements in single-attempt accuracy (Pass@1). This is often accompanied by catastrophic forgetting, where models lose previously acquired skills. While various methods have been proposed, the choice and function of the divergence term have been surprisingly unexamined as a proactive solution. We argue that standard RLVR objectives -- both those using the mode-seeking reverse KL-divergence and those forgoing a divergence term entirely -- lack a crucial mechanism for knowledge retention. The reverse-KL actively accelerates this decay by narrowing the policy, while its absence provides no safeguard against the model drifting from its diverse knowledge base. We propose a fundamental shift in perspective: using the divergence term itself as the solution. Our framework, Diversity-Preserving Hybrid RL (DPH-RL), leverages mass-covering f-divergences (like forward-KL and JS-divergence) to function as a rehearsal mechanism. By continuously referencing the initial policy, this approach forces the model to maintain broad solution coverage. Extensive experiments on math and SQL generation demonstrate that DPH-RL not only resolves the Pass@k degradation but improves both Pass@1 and Pass@k in- and out-of-domain. Additionally, DPH-RL is more training-efficient because it computes f-divergence using generator functions, requiring only sampling from the initial policy and no online reference model. Our work highlights a crucial, overlooked axis for improving RLVR, demonstrating that the proper selection of a divergence measure is a powerful tool for building more general and diverse reasoning models.