稀有性への報酬：LLMにおける創造的問題解決のための独自性認識強化学習

Rewarding the Rare: Uniqueness-Aware RL for Creative Problem Solving in LLMs

January 13, 2026

著者: Zhiyuan Hu, Yucheng Wang, Yufei He, Jiaying Wu, Yilun Zhao, See-Kiong Ng, Cynthia Breazeal, Anh Tuan Luu, Hae Won Park, Bryan Hooi

cs.AI

要旨

強化学習（RL）は大規模言語モデル（LLM）の学習後調整における中心的なパラダイムとなり、特に複雑な推論タスクで重要な役割を果たしている。しかし、探索崩壊（exploration collapse）に悩まされることが多い。すなわち、方策が早期に少数の支配的な推論パターンに集中してしまい、pass@1は向上するものの、ロールアウトレベルの多様性が損なわれ、pass@kの向上が制限されてしまうのである。我々は、この問題の根源が、個々のトークンの挙動を正則化することにあり、解の集合としての多様性を考慮していない点にあると主張する。この問題に対処するため、我々は「独自性を考慮した強化学習（Uniqueness-Aware Reinforcement Learning）」を提案する。これは、稀な高レベル戦略を示す正しい解を明示的に報酬とする、ロールアウトレベルの目的関数である。本手法では、LLMベースの判定器を用いて、同じ問題に対するロールアウトを、表面的な差異を無視しつつ高レベルの解決戦略に基づいてクラスタリングし、方策のアドバンテージをクラスタサイズに反比例して再重み付けする。その結果、正解ではあるが新奇な戦略が、冗長な戦略よりも高い報酬を受け取る。数学、物理学、医療推論の各種ベンチマークにおいて、本手法は大規模なサンプリング予算下でのpass@kを一貫して向上させ、pass@1を犠牲にすることなくpass@k曲線下面積（AUC@K）を増大させた。さらに、探索を持続させ、スケールにおいてより多様な解決戦略を発見することに成功した。

English

Reinforcement learning (RL) has become a central paradigm for post-training large language models (LLMs), particularly for complex reasoning tasks, yet it often suffers from exploration collapse: policies prematurely concentrate on a small set of dominant reasoning patterns, improving pass@1 while limiting rollout-level diversity and gains in pass@k. We argue that this failure stems from regularizing local token behavior rather than diversity over sets of solutions. To address this, we propose Uniqueness-Aware Reinforcement Learning, a rollout-level objective that explicitly rewards correct solutions that exhibit rare high-level strategies. Our method uses an LLM-based judge to cluster rollouts for the same problem according to their high-level solution strategies, ignoring superficial variations, and reweights policy advantages inversely with cluster size. As a result, correct but novel strategies receive higher rewards than redundant ones. Across mathematics, physics, and medical reasoning benchmarks, our approach consistently improves pass@k across large sampling budgets and increases the area under the pass@k curve (AUC@K) without sacrificing pass@1, while sustaining exploration and uncovering more diverse solution strategies at scale.