やめるべき時を知る：無益な推論を打ち切るためのLLMの診断と訓練

要旨

大規模言語モデルは、能力を超えたタスクに対して、計算コストが高い一方で意味的に空虚な推論を生成し、もっともらしく聞こえるが誤った導出が利用者を誤解させるリスクを生み出す。我々は、この無益な推論現象を系統的分析によって特徴付け、普遍的な能力超過行動と、能力と行動の間の系統的な誤較正を明らかにする。主要な失敗モードは、表面上は有効に見えるが微細な誤りを含む見せかけの推論であり、タスクの難易度の上昇に伴って増大する。この問題に対処するため、我々はCaRL（Capability-aligned Reinforcement Learning：能力整合強化学習）を導入する。これは、無益な推論よりも拒否を促す報酬形成と、失敗を拒否の教師信号に変換する後知恵拒否拡張（hindsight refusal augmentation）を通じて、モデルの行動を能力境界に整合させる。実験により、タスクの難易度を問わず性能を維持しつつ無益な推論を大幅に削減し、実用性を犠牲にすることなく能力整合的な行動を効果的に達成できることが実証された。https://github.com/icip-cas/Knowing-When-to-Quit

English

Large language models generate computationally expensive yet semantically void reasoning on beyond-capability tasks, creating risks where plausible-sounding but incorrect derivations mislead users. We characterize this futile reasoning phenomenon through systematic analysis, revealing universal capability overreach and systematic miscalibration between capability and behavior. The dominant failure mode is specious reasoning, which outputs look superficially valid but contain subtle errors, escalating with task difficulty. To address this, we introduce CaRL (Capability-aligned Reinforcement Learning), which aligns model behavior with capability boundaries through reward shaping that incentivizes refusal over futile reasoning and hindsight refusal augmentation that converts failures into refusal supervision. Experiments demonstrate a substantial reduction in futile reasoning while preserving performance across task difficulties, effectively achieving capability-aligned behavior without sacrificing utility. https://github.com/icip-cas/Knowing-When-to-Quit