Поощрение уникальности: Обучение с подкреплением с учетом редкости для креативного решения задач в больших языковых моделях

Rewarding the Rare: Uniqueness-Aware RL for Creative Problem Solving in LLMs

January 13, 2026

Авторы: Zhiyuan Hu, Yucheng Wang, Yufei He, Jiaying Wu, Yilun Zhao, See-Kiong Ng, Cynthia Breazeal, Anh Tuan Luu, Hae Won Park, Bryan Hooi

cs.AI

Аннотация

Обучение с подкреплением стало ключевой парадигмой для посттренинговой настройки больших языковых моделей, особенно для сложных задач логического вывода, однако оно часто страдает от коллапса исследования: политики преждевременно концентрируются на узком наборе доминирующих шаблонов рассуждений, улучшая pass@1, но ограничивая разнообразие на уровне траекторий и рост показателя pass@k. Мы утверждаем, что эта проблема возникает из-за регуляризации локального поведения токенов вместо поощрения разнообразия множеств решений. Для её решения мы предлагаем Обучение с подкреплением с учетом уникальности — целевую функцию на уровне траекторий, которая явно вознаграждает правильные решения, демонстрирующие редкие высокоуровневые стратегии. Наш метод использует LLM-арбитр для кластеризации траекторий одной задачи в соответствии с их высокоуровневыми стратегиями решения, игнорируя поверхностные вариации, и перевзвешивает преимущества политики обратно пропорционально размеру кластера. В результате правильные, но новые стратегии получают большее вознаграждение, чем избыточные. На наборах задач по математике, физике и медицинской диагностике наш подход стабильно улучшает pass@k при больших бюджетах сэмплирования и увеличивает площадь под кривой pass@k без ухудшения pass@1, поддерживая исследование и выявляя более разнообразные стратегии решения в масштабе.

English

Reinforcement learning (RL) has become a central paradigm for post-training large language models (LLMs), particularly for complex reasoning tasks, yet it often suffers from exploration collapse: policies prematurely concentrate on a small set of dominant reasoning patterns, improving pass@1 while limiting rollout-level diversity and gains in pass@k. We argue that this failure stems from regularizing local token behavior rather than diversity over sets of solutions. To address this, we propose Uniqueness-Aware Reinforcement Learning, a rollout-level objective that explicitly rewards correct solutions that exhibit rare high-level strategies. Our method uses an LLM-based judge to cluster rollouts for the same problem according to their high-level solution strategies, ignoring superficial variations, and reweights policy advantages inversely with cluster size. As a result, correct but novel strategies receive higher rewards than redundant ones. Across mathematics, physics, and medical reasoning benchmarks, our approach consistently improves pass@k across large sampling budgets and increases the area under the pass@k curve (AUC@K) without sacrificing pass@1, while sustaining exploration and uncovering more diverse solution strategies at scale.