Recompensando lo Raro: RL con Conciencia de la Singularidad para la Resolución Creativa de Problemas en LLMs

Rewarding the Rare: Uniqueness-Aware RL for Creative Problem Solving in LLMs

January 13, 2026

Autores: Zhiyuan Hu, Yucheng Wang, Yufei He, Jiaying Wu, Yilun Zhao, See-Kiong Ng, Cynthia Breazeal, Anh Tuan Luu, Hae Won Park, Bryan Hooi

cs.AI

Resumen

El aprendizaje por refuerzo (RL) se ha convertido en un paradigma central para el post-entrenamiento de modelos de lenguaje grandes (LLMs), particularmente para tareas de razonamiento complejo, aunque a menudo sufre de colapso exploratorio: las políticas se concentran prematuramente en un pequeño conjunto de patrones de razonamiento dominantes, mejorando pass@1 mientras limitan la diversidad a nivel de *rollout* y las ganancias en pass@k. Sostenemos que este fallo surge de regular el comportamiento local de los *tokens* en lugar de la diversidad sobre conjuntos de soluciones. Para abordarlo, proponemos el Aprendizaje por Refuerzo con Conciencia de la Unicidad, un objetivo a nivel de *rollout* que recompensa explícitamente las soluciones correctas que exhiben estrategias de alto nivel poco comunes. Nuestro método utiliza un juez basado en un LLM para agrupar los *rollouts* de un mismo problema según sus estrategias de solución de alto nivel, ignorando variaciones superficiales, y repondera las ventajas de la política de forma inversamente proporcional al tamaño del clúster. Como resultado, las estrategias correctas pero novedosas reciben mayores recompensas que las redundantes. En diversos benchmarks de razonamiento matemático, físico y médico, nuestro enfoque mejora consistentemente pass@k para grandes presupuestos de muestreo y aumenta el área bajo la curva pass@k (AUC@K) sin sacrificar pass@1, manteniendo la exploración y descubriendo estrategias de solución más diversas a gran escala.

English

Reinforcement learning (RL) has become a central paradigm for post-training large language models (LLMs), particularly for complex reasoning tasks, yet it often suffers from exploration collapse: policies prematurely concentrate on a small set of dominant reasoning patterns, improving pass@1 while limiting rollout-level diversity and gains in pass@k. We argue that this failure stems from regularizing local token behavior rather than diversity over sets of solutions. To address this, we propose Uniqueness-Aware Reinforcement Learning, a rollout-level objective that explicitly rewards correct solutions that exhibit rare high-level strategies. Our method uses an LLM-based judge to cluster rollouts for the same problem according to their high-level solution strategies, ignoring superficial variations, and reweights policy advantages inversely with cluster size. As a result, correct but novel strategies receive higher rewards than redundant ones. Across mathematics, physics, and medical reasoning benchmarks, our approach consistently improves pass@k across large sampling budgets and increases the area under the pass@k curve (AUC@K) without sacrificing pass@1, while sustaining exploration and uncovering more diverse solution strategies at scale.