Récompenser l'Exceptionnel : RL Sensible à l'Unicité pour la Résolution Créative de Problèmes dans les LLM

Rewarding the Rare: Uniqueness-Aware RL for Creative Problem Solving in LLMs

January 13, 2026

papers.authors: Zhiyuan Hu, Yucheng Wang, Yufei He, Jiaying Wu, Yilun Zhao, See-Kiong Ng, Cynthia Breazeal, Anh Tuan Luu, Hae Won Park, Bryan Hooi

cs.AI

papers.abstract

L'apprentissage par renforcement (RL) est devenu un paradigme central pour le post-entraînement des grands modèles de langage (LLM), particulièrement pour les tâches de raisonnement complexe. Cependant, il souffre souvent d'un effondrement de l'exploration : les politiques se concentrent prématurément sur un petit ensemble de schémas de raisonnement dominants, améliorant ainsi la métrique pass@1 tout en limitant la diversité au niveau des déploiements (rollouts) et les gains en pass@k. Nous soutenons que cet échec découle d'une régularisation du comportement local des tokens plutôt que de la diversité des ensembles de solutions. Pour y remédier, nous proposons l'Apprentissage par Renforcement avec Sensibilité à l'Unicité, un objectif au niveau du déploiement qui récompense explicitement les solutions correctes présentant des stratégies de haut niveau rares. Notre méthode utilise un juge basé sur un LLM pour regrouper les déploiements d'un même problème selon leurs stratégies de résolution de haut niveau, en ignorant les variations superficielles, et repondère les avantages de la politique inversement proportionnellement à la taille des clusters. Ainsi, les stratégies correctes mais novatrices reçoivent une récompense plus élevée que les stratégies redondantes. Sur divers benchmarks de raisonnement en mathématiques, en physique et en médecine, notre approche améliore constamment la métrique pass@k pour de grands budgets d'échantillonnage et augmente l'aire sous la courbe pass@k (AUC@K) sans sacrifier la métrique pass@1, tout en maintenant l'exploration et en révélant à grande échelle des stratégies de résolution plus diversifiées.

English

Reinforcement learning (RL) has become a central paradigm for post-training large language models (LLMs), particularly for complex reasoning tasks, yet it often suffers from exploration collapse: policies prematurely concentrate on a small set of dominant reasoning patterns, improving pass@1 while limiting rollout-level diversity and gains in pass@k. We argue that this failure stems from regularizing local token behavior rather than diversity over sets of solutions. To address this, we propose Uniqueness-Aware Reinforcement Learning, a rollout-level objective that explicitly rewards correct solutions that exhibit rare high-level strategies. Our method uses an LLM-based judge to cluster rollouts for the same problem according to their high-level solution strategies, ignoring superficial variations, and reweights policy advantages inversely with cluster size. As a result, correct but novel strategies receive higher rewards than redundant ones. Across mathematics, physics, and medical reasoning benchmarks, our approach consistently improves pass@k across large sampling budgets and increases the area under the pass@k curve (AUC@K) without sacrificing pass@1, while sustaining exploration and uncovering more diverse solution strategies at scale.