DSDR: Dual-Schaal Diversiteitsregularisatie voor Verkenning bij Redeneren met Grote Taalmodellen

Samenvatting

Versterkend leren met verificatoren (RLVR) is een centraal paradigma voor het verbeteren van het redeneervermogen van grote taalmodellen (LLM's), maar bestaande methoden lijden vaak onder beperkte exploratie. Beleidsregels hebben de neiging in te storten tot een paar redeneerpatronen en stoppen diepe exploratie voortijdig, terwijl conventionele entropieregularisatie slechts lokale stochasticiteit introduceert en er niet in slaagt zinvolle diversiteit op padniveau te induceren. Dit leidt tot zwakke en onstabiele leer signalen in groepsgebaseerde beleidsoptimalisatie. Wij stellen DSDR voor, een *Dual-Scale Diversity Regularization* raamwerk voor versterkend leren dat diversiteit in LLM-redenering ontbindt in globale en gekoppelde componenten. Globaal bevordert DSDR diversiteit onder correcte redeneertrajecten om verschillende oplossingsmodi te verkennen. Lokaal past het een lengte-invariante, token-level entropieregularisatie toe, beperkt tot correcte trajecten, om entropie-instorting binnen elke modus te voorkomen terwijl de correctheid behouden blijft. De twee schalen worden gekoppeld door een globaal-naar-lokaal allocatiemechanisme dat de nadruk legt op lokale regularisatie voor meer onderscheidende correcte trajecten. Wij bieden theoretische ondersteuning waaruit blijkt dat DSDR optimale correctheid behoudt onder begrensde regularisatie, informatieve leer signalen in stand houdt bij groepsgebaseerde optimalisatie, en resulteert in een principekwestie globale-naar-lokale koppelingsregel. Experimenten op meerdere redeneerbenchmarks tonen consistente verbeteringen in nauwkeurigheid en pass@k aan, wat het belang van dual-scale diversiteit voor diepe exploratie in RLVR benadrukt. Code is beschikbaar op https://github.com/SUSTechBruce/DSDR.

English

Reinforcement learning with verifiers (RLVR) is a central paradigm for improving large language model (LLM) reasoning, yet existing methods often suffer from limited exploration. Policies tend to collapse onto a few reasoning patterns and prematurely stop deep exploration, while conventional entropy regularization introduces only local stochasticity and fails to induce meaningful path-level diversity, leading to weak and unstable learning signals in group-based policy optimization. We propose DSDR, a Dual-Scale Diversity Regularization reinforcement learning framework that decomposes diversity in LLM reasoning into global and coupling components. Globally, DSDR promotes diversity among correct reasoning trajectories to explore distinct solution modes. Locally, it applies a length-invariant, token-level entropy regularization restricted to correct trajectories, preventing entropy collapse within each mode while preserving correctness. The two scales are coupled through a global-to-local allocation mechanism that emphasizes local regularization for more distinctive correct trajectories. We provide theoretical support showing that DSDR preserves optimal correctness under bounded regularization, sustains informative learning signals in group-based optimization, and yields a principled global-to-local coupling rule. Experiments on multiple reasoning benchmarks demonstrate consistent improvements in accuracy and pass@k, highlighting the importance of dual-scale diversity for deep exploration in RLVR. Code is available at https://github.com/SUSTechBruce/DSDR.

DSDR: Dual-Schaal Diversiteitsregularisatie voor Verkenning bij Redeneren met Grote Taalmodellen

DSDR: Dual-Scale Diversity Regularization for Exploration in LLM Reasoning

Samenvatting

Support