Belohnung des Seltenen: Einzigartigkeitsbewusstes RL für kreative Problemlösung in LLMs

Rewarding the Rare: Uniqueness-Aware RL for Creative Problem Solving in LLMs

January 13, 2026

papers.authors: Zhiyuan Hu, Yucheng Wang, Yufei He, Jiaying Wu, Yilun Zhao, See-Kiong Ng, Cynthia Breazeal, Anh Tuan Luu, Hae Won Park, Bryan Hooi

cs.AI

papers.abstract

Reinforcement Learning (RL) hat sich zu einem zentralen Paradigma für das Nachtraining großer Sprachmodelle (LLMs) entwickelt, insbesondere für komplexe Reasoning-Aufgaben. Dennoch leidet es häufig unter einem Explorationskollaps: Die Strategien konzentrieren sich vorzeitig auf eine kleine Menge dominanter Reasoning-Muster, was pass@1 verbessert, aber die Diversität auf Rollout-Ebene und Gewinne bei pass@k begrenzt. Wir argumentieren, dass dieses Versagen darauf zurückzuführen ist, dass lokales Token-Verhalten regularisiert wird, anstatt die Vielfalt über Lösungsmengen hinweg. Um dies zu adressieren, schlagen wir Uniqueness-Aware Reinforcement Learning vor, ein Ziel auf Rollout-Ebene, das explizit korrekte Lösungen belohnt, die seltene Strategien auf hoher Ebene aufweisen. Unsere Methode verwendet einen LLM-basierten Bewerter, um Rollouts für dasselbe Problem gemäß ihren übergeordneten Lösungsstrategien zu clustern, wobei oberflächliche Variationen ignoriert werden, und gewichtet die Strategievorteile umgekehrt proportional zur Clustergröße neu. Dadurch erhalten korrekte, aber neuartige Strategien eine höhere Belohnung als redundante. In Benchmarks für mathematisches, physikalisches und medizinisches Reasoning verbessert unser Ansatz konsistent pass@k über große Stichprobenbudgets hinweg und erhöht die Fläche unter der pass@k-Kurve (AUC@K), ohne pass@1 zu opfern, während gleichzeitig die Exploration aufrechterhalten und vielfältigere Lösungsstrategien im großen Maßstab aufgedeckt werden.

English

Reinforcement learning (RL) has become a central paradigm for post-training large language models (LLMs), particularly for complex reasoning tasks, yet it often suffers from exploration collapse: policies prematurely concentrate on a small set of dominant reasoning patterns, improving pass@1 while limiting rollout-level diversity and gains in pass@k. We argue that this failure stems from regularizing local token behavior rather than diversity over sets of solutions. To address this, we propose Uniqueness-Aware Reinforcement Learning, a rollout-level objective that explicitly rewards correct solutions that exhibit rare high-level strategies. Our method uses an LLM-based judge to cluster rollouts for the same problem according to their high-level solution strategies, ignoring superficial variations, and reweights policy advantages inversely with cluster size. As a result, correct but novel strategies receive higher rewards than redundant ones. Across mathematics, physics, and medical reasoning benchmarks, our approach consistently improves pass@k across large sampling budgets and increases the area under the pass@k curve (AUC@K) without sacrificing pass@1, while sustaining exploration and uncovering more diverse solution strategies at scale.