Die Wahl der Divergenz: Ein vernachlässigter Schlüssel zur Minderung des Diversitätsverlusts im Reinforcement Learning mit verifizierbarer Belohnung

The Choice of Divergence: A Neglected Key to Mitigating Diversity Collapse in Reinforcement Learning with Verifiable Reward

September 9, 2025

papers.authors: Long Li, Jiaran Hao, Jason Klein Liu, Zhijian Zhou, Xiaoyu Tan, Wei Chu, Zhe Wang, Shirui Pan, Chao Qu, Yuan Qi

cs.AI

papers.abstract

Ein zentrales Paradoxon bei der Feinabstimmung von Large Language Models (LLMs) mit Reinforcement Learning mit verifizierbarer Belohnung (RLVR) ist die häufige Verschlechterung der Mehrfachversuchsleistung (Pass@k) trotz Verbesserungen in der Einzelversuchsgenauigkeit (Pass@1). Dies geht oft mit katastrophalem Vergessen einher, bei dem Modelle zuvor erworbene Fähigkeiten verlieren. Obwohl verschiedene Methoden vorgeschlagen wurden, wurden die Wahl und Funktion des Divergenzterms überraschend wenig als proaktive Lösung untersucht. Wir argumentieren, dass standardmäßige RLVR-Ziele – sowohl solche, die die modus-suchenden reverse KL-Divergenz verwenden, als auch solche, die ganz auf einen Divergenzterm verzichten – einen entscheidenden Mechanismus zur Wissensbewahrung vermissen lassen. Die reverse-KL beschleunigt diesen Verfall aktiv, indem sie die Policy verengt, während ihr Fehlen keinen Schutz gegen das Abweichen des Modells von seiner vielfältigen Wissensbasis bietet. Wir schlagen einen grundlegenden Perspektivenwechsel vor: den Divergenzterm selbst als Lösung zu nutzen. Unser Framework, Diversity-Preserving Hybrid RL (DPH-RL), nutzt massenabdeckende f-Divergenzen (wie forward-KL und JS-Divergenz) als Wiederholungsmechanismus. Durch kontinuierlichen Bezug auf die initiale Policy zwingt dieser Ansatz das Modell, eine breite Lösungsabdeckung beizubehalten. Umfangreiche Experimente zur Mathematik- und SQL-Generierung zeigen, dass DPH-RL nicht nur die Pass@k-Verschlechterung behebt, sondern sowohl Pass@1 als auch Pass@k innerhalb und außerhalb der Domäne verbessert. Darüber hinaus ist DPH-RL trainings-effizienter, da es f-Divergenzen mithilfe von Generatorfunktionen berechnet, was nur Stichproben aus der initialen Policy und kein Online-Referenzmodell erfordert. Unsere Arbeit beleuchtet eine entscheidende, übersehene Achse zur Verbesserung von RLVR und zeigt, dass die richtige Auswahl eines Divergenzmaßes ein mächtiges Werkzeug für den Aufbau allgemeinerer und vielfältigerer Denkmodelle ist.

English

A central paradox in fine-tuning Large Language Models (LLMs) with Reinforcement Learning with Verifiable Reward (RLVR) is the frequent degradation of multi-attempt performance (Pass@k) despite improvements in single-attempt accuracy (Pass@1). This is often accompanied by catastrophic forgetting, where models lose previously acquired skills. While various methods have been proposed, the choice and function of the divergence term have been surprisingly unexamined as a proactive solution. We argue that standard RLVR objectives -- both those using the mode-seeking reverse KL-divergence and those forgoing a divergence term entirely -- lack a crucial mechanism for knowledge retention. The reverse-KL actively accelerates this decay by narrowing the policy, while its absence provides no safeguard against the model drifting from its diverse knowledge base. We propose a fundamental shift in perspective: using the divergence term itself as the solution. Our framework, Diversity-Preserving Hybrid RL (DPH-RL), leverages mass-covering f-divergences (like forward-KL and JS-divergence) to function as a rehearsal mechanism. By continuously referencing the initial policy, this approach forces the model to maintain broad solution coverage. Extensive experiments on math and SQL generation demonstrate that DPH-RL not only resolves the Pass@k degradation but improves both Pass@1 and Pass@k in- and out-of-domain. Additionally, DPH-RL is more training-efficient because it computes f-divergence using generator functions, requiring only sampling from the initial policy and no online reference model. Our work highlights a crucial, overlooked axis for improving RLVR, demonstrating that the proper selection of a divergence measure is a powerful tool for building more general and diverse reasoning models.