De Keuze van Divergentie: Een Verwaarloosde Sleutel tot het Verminderen van Diversiteitsverlies in Reinforcement Learning met Verifieerbare Beloning

The Choice of Divergence: A Neglected Key to Mitigating Diversity Collapse in Reinforcement Learning with Verifiable Reward

September 9, 2025

Auteurs: Long Li, Jiaran Hao, Jason Klein Liu, Zhijian Zhou, Xiaoyu Tan, Wei Chu, Zhe Wang, Shirui Pan, Chao Qu, Yuan Qi

cs.AI

Samenvatting

Een centraal paradox bij het finetunen van Large Language Models (LLMs) met Reinforcement Learning met Verifieerbare Beloning (RLVR) is de frequente achteruitgang in prestaties bij meerdere pogingen (Pass@k), ondanks verbeteringen in nauwkeurigheid bij een enkele poging (Pass@1). Dit gaat vaak gepaard met catastrofaal vergeten, waarbij modellen eerder verworven vaardigheden verliezen. Hoewel verschillende methoden zijn voorgesteld, zijn de keuze en functie van de divergentieterm verrassend weinig onderzocht als een proactieve oplossing. Wij stellen dat standaard RLVR-doelstellingen — zowel die gebruikmaken van de mode-zoekende reverse KL-divergentie als die die helemaal geen divergentieterm gebruiken — een cruciaal mechanisme voor kennisbehoud missen. De reverse-KL versnelt dit verval actief door het beleid te vernauwen, terwijl de afwezigheid ervan geen bescherming biedt tegen het afdrijven van het model van zijn diverse kennisbasis. Wij stellen een fundamentele verschuiving in perspectief voor: de divergentieterm zelf als oplossing gebruiken. Ons framework, Diversity-Preserving Hybrid RL (DPH-RL), maakt gebruik van massabedekkende f-divergenties (zoals forward-KL en JS-divergentie) om te fungeren als een herhalingsmechanisme. Door continu te verwijzen naar het initiële beleid, dwingt deze aanpak het model om een brede oplossingsdekking te behouden. Uitgebreide experimenten op het gebied van wiskunde- en SQL-generatie tonen aan dat DPH-RL niet alleen de achteruitgang in Pass@k oplost, maar zowel Pass@1 als Pass@k verbetert, zowel binnen als buiten het domein. Bovendien is DPH-RL efficiënter in training omdat het f-divergentie berekent met behulp van generatorfuncties, waarbij alleen steekproeven uit het initiële beleid nodig zijn en geen online referentiemodel. Ons werk belicht een cruciaal, over het hoofd gezien aspect voor het verbeteren van RLVR, en toont aan dat de juiste selectie van een divergentiemaat een krachtig hulpmiddel is voor het bouwen van meer algemene en diverse redeneermodellen.

English

A central paradox in fine-tuning Large Language Models (LLMs) with Reinforcement Learning with Verifiable Reward (RLVR) is the frequent degradation of multi-attempt performance (Pass@k) despite improvements in single-attempt accuracy (Pass@1). This is often accompanied by catastrophic forgetting, where models lose previously acquired skills. While various methods have been proposed, the choice and function of the divergence term have been surprisingly unexamined as a proactive solution. We argue that standard RLVR objectives -- both those using the mode-seeking reverse KL-divergence and those forgoing a divergence term entirely -- lack a crucial mechanism for knowledge retention. The reverse-KL actively accelerates this decay by narrowing the policy, while its absence provides no safeguard against the model drifting from its diverse knowledge base. We propose a fundamental shift in perspective: using the divergence term itself as the solution. Our framework, Diversity-Preserving Hybrid RL (DPH-RL), leverages mass-covering f-divergences (like forward-KL and JS-divergence) to function as a rehearsal mechanism. By continuously referencing the initial policy, this approach forces the model to maintain broad solution coverage. Extensive experiments on math and SQL generation demonstrate that DPH-RL not only resolves the Pass@k degradation but improves both Pass@1 and Pass@k in- and out-of-domain. Additionally, DPH-RL is more training-efficient because it computes f-divergence using generator functions, requiring only sampling from the initial policy and no online reference model. Our work highlights a crucial, overlooked axis for improving RLVR, demonstrating that the proper selection of a divergence measure is a powerful tool for building more general and diverse reasoning models.