Het Belonen van het Zeldzame: Uniekheidsbewuste Reinforcement Learning voor Creatief Probleemoplossen in LLM's

Rewarding the Rare: Uniqueness-Aware RL for Creative Problem Solving in LLMs

January 13, 2026

Auteurs: Zhiyuan Hu, Yucheng Wang, Yufei He, Jiaying Wu, Yilun Zhao, See-Kiong Ng, Cynthia Breazeal, Anh Tuan Luu, Hae Won Park, Bryan Hooi

cs.AI

Samenvatting

Versterkend leren (RL) is een centraal paradigma geworden voor het na-trainen van grote taalmodellen (LLM's), met name voor complexe redeneertaken, maar het lijdt vaak onder verkenningscollaps: beleidsregels concentreren zich voortijdig op een kleine set dominante redeneerpatronen, wat de pass@1 verbetert maar de diversiteit op rollout-niveau en winst in pass@k beperkt. Wij stellen dat dit falen voortkomt uit het reguleren van lokaal token-gedrag in plaats van diversiteit over sets van oplossingen. Om dit aan te pakken, stellen wij Uniqueness-Aware Reinforcement Learning voor, een doelstelling op rollout-niveau die expliciet correcte oplossingen beloont die zeldzame hoog-niveau strategieën vertonen. Onze methode gebruikt een op een LLM gebaseerde beoordelaar om rollouts voor hetzelfde probleem te clusteren volgens hun hoog-niveau oplossingsstrategieën, waarbij oppervlakkige variaties worden genegeerd, en herweegt de beleidsvoordelen omgekeerd evenredig met de clustergrootte. Hierdoor ontvangen correcte maar nieuwe strategieën hogere beloningen dan redundante. Over benchmarks voor wiskundig, natuurkundig en medisch redeneren verbetert onze aanpak consistent de pass@k over grote steekproefbudgetten en verhoogt zij de oppervlakte onder de pass@k-curve (AUC@K) zonder in te leveren op pass@1, terwijl zij verkenning in stand houdt en meer diverse oplossingsstrategieën op schaal aan het licht brengt.

English

Reinforcement learning (RL) has become a central paradigm for post-training large language models (LLMs), particularly for complex reasoning tasks, yet it often suffers from exploration collapse: policies prematurely concentrate on a small set of dominant reasoning patterns, improving pass@1 while limiting rollout-level diversity and gains in pass@k. We argue that this failure stems from regularizing local token behavior rather than diversity over sets of solutions. To address this, we propose Uniqueness-Aware Reinforcement Learning, a rollout-level objective that explicitly rewards correct solutions that exhibit rare high-level strategies. Our method uses an LLM-based judge to cluster rollouts for the same problem according to their high-level solution strategies, ignoring superficial variations, and reweights policy advantages inversely with cluster size. As a result, correct but novel strategies receive higher rewards than redundant ones. Across mathematics, physics, and medical reasoning benchmarks, our approach consistently improves pass@k across large sampling budgets and increases the area under the pass@k curve (AUC@K) without sacrificing pass@1, while sustaining exploration and uncovering more diverse solution strategies at scale.