BARREL: 事実的かつ信頼性の高いLRMのための境界認識推論

BARREL: Boundary-Aware Reasoning for Factual and Reliable LRMs

May 18, 2025

著者: Junxiao Yang, Jinzhe Tu, Haoran Liu, Xiaoce Wang, Chujie Zheng, Zhexin Zhang, Shiyao Cui, Caishun Chen, Tiantian He, Hongning Wang, Yew-Soon Ong, Minlie Huang

cs.AI

要旨

大規模推論モデル（LRM）の最近の進展は、数学的および論理的推論において印象的な能力を示しています。しかし、現在のLRMは無知を認めたり「わからない」と応答したりすることはほとんどありません。その代わりに、過剰な自信を示しながら誤った回答を生成することが多く、事実の信頼性に関する懸念を引き起こしています。本研究では、過剰な思考に特徴づけられる2つの病的推論パターン、すなわち「ラストミニット・ゲッシング」と「セカンド・ソート・スパイラリング」を特定し、これらが過信と誤答の原因となっていることを明らかにしました。これらの問題に対処するため、簡潔で境界認識のある事実推論を促進する新しいフレームワーク「BARREL」を提案します。実験の結果、BARRELによるトレーニングはDeepSeek-R1-Distill-Llama-8Bの信頼性を39.33%から61.48%に向上させ、同時にR1によって生成された推論データでファインチューニングされたモデルと同等の精度を達成することが示されました。これらの結果は、我々のパイロット研究がより信頼性の高い事実に基づくSystem 2 LRMを構築する上で示唆に富むものであることを示しています。

English

Recent advances in Large Reasoning Models (LRMs) have shown impressive capabilities in mathematical and logical reasoning. However, current LRMs rarely admit ignorance or respond with "I don't know". Instead, they often produce incorrect answers while showing undue confidence, raising concerns about their factual reliability. In this work, we identify two pathological reasoning patterns characterized by overthinking that contribute to the overconfident and incorrect answers: last-minute guessing and second-thought spiraling. To address these issues, we propose BARREL-a novel framework that promotes concise and boundary-aware factual reasoning. Our experiments show that BARREL-training increases the reliability of DeepSeek-R1-Distill-Llama-8B from 39.33% to 61.48%, while still achieving accuracy comparable to models finetuned on reasoning data generated by R1. These results demonstrate that our pilot study is inspiring to build more reliable and factual System 2 LRMs.