Le Choix de la Divergence : Une Clé Négligée pour Atténuer l'Effondrement de la Diversité dans l'Apprentissage par Renforcement avec Récompense Vérifiable

The Choice of Divergence: A Neglected Key to Mitigating Diversity Collapse in Reinforcement Learning with Verifiable Reward

September 9, 2025

papers.authors: Long Li, Jiaran Hao, Jason Klein Liu, Zhijian Zhou, Xiaoyu Tan, Wei Chu, Zhe Wang, Shirui Pan, Chao Qu, Yuan Qi

cs.AI

papers.abstract

Un paradoxe central dans le réglage fin des grands modèles de langage (LLMs) avec l'apprentissage par renforcement avec récompense vérifiable (RLVR) est la dégradation fréquente des performances sur plusieurs tentatives (Pass@k) malgré les améliorations de la précision sur une seule tentative (Pass@1). Ce phénomène s'accompagne souvent d'un oubli catastrophique, où les modèles perdent des compétences précédemment acquises. Bien que diverses méthodes aient été proposées, le choix et la fonction du terme de divergence ont été étonnamment peu examinés comme solution proactive. Nous soutenons que les objectifs standards du RLVR — ceux utilisant la divergence KL inverse axée sur le mode et ceux renonçant entièrement à un terme de divergence — manquent d'un mécanisme crucial pour la rétention des connaissances. La KL inverse accélère activement cette dégradation en rétrécissant la politique, tandis que son absence ne fournit aucune protection contre la dérive du modèle par rapport à sa base de connaissances diversifiée. Nous proposons un changement fondamental de perspective : utiliser le terme de divergence lui-même comme solution. Notre cadre, l'apprentissage par renforcement hybride préservant la diversité (DPH-RL), exploite les f-divergences couvrantes (comme la KL directe et la divergence JS) pour fonctionner comme un mécanisme de répétition. En se référant continuellement à la politique initiale, cette approche oblige le modèle à maintenir une couverture large des solutions. Des expériences approfondies sur la génération de mathématiques et de SQL démontrent que DPH-RL résout non seulement la dégradation de Pass@k, mais améliore à la fois Pass@1 et Pass@k en domaine et hors domaine. De plus, DPH-RL est plus efficace en termes d'entraînement car il calcule la f-divergence à l'aide de fonctions génératrices, nécessitant uniquement un échantillonnage de la politique initiale et aucun modèle de référence en ligne. Notre travail met en lumière un axe crucial et négligé pour améliorer le RLVR, démontrant que la sélection appropriée d'une mesure de divergence est un outil puissant pour construire des modèles de raisonnement plus généraux et diversifiés.

English

A central paradox in fine-tuning Large Language Models (LLMs) with Reinforcement Learning with Verifiable Reward (RLVR) is the frequent degradation of multi-attempt performance (Pass@k) despite improvements in single-attempt accuracy (Pass@1). This is often accompanied by catastrophic forgetting, where models lose previously acquired skills. While various methods have been proposed, the choice and function of the divergence term have been surprisingly unexamined as a proactive solution. We argue that standard RLVR objectives -- both those using the mode-seeking reverse KL-divergence and those forgoing a divergence term entirely -- lack a crucial mechanism for knowledge retention. The reverse-KL actively accelerates this decay by narrowing the policy, while its absence provides no safeguard against the model drifting from its diverse knowledge base. We propose a fundamental shift in perspective: using the divergence term itself as the solution. Our framework, Diversity-Preserving Hybrid RL (DPH-RL), leverages mass-covering f-divergences (like forward-KL and JS-divergence) to function as a rehearsal mechanism. By continuously referencing the initial policy, this approach forces the model to maintain broad solution coverage. Extensive experiments on math and SQL generation demonstrate that DPH-RL not only resolves the Pass@k degradation but improves both Pass@1 and Pass@k in- and out-of-domain. Additionally, DPH-RL is more training-efficient because it computes f-divergence using generator functions, requiring only sampling from the initial policy and no online reference model. Our work highlights a crucial, overlooked axis for improving RLVR, demonstrating that the proper selection of a divergence measure is a powerful tool for building more general and diverse reasoning models.