BARREL: 사실적이고 신뢰할 수 있는 LRM을 위한 경계 인식 추론

BARREL: Boundary-Aware Reasoning for Factual and Reliable LRMs

May 18, 2025

저자: Junxiao Yang, Jinzhe Tu, Haoran Liu, Xiaoce Wang, Chujie Zheng, Zhexin Zhang, Shiyao Cui, Caishun Chen, Tiantian He, Hongning Wang, Yew-Soon Ong, Minlie Huang

cs.AI

초록

최근 대형 추론 모델(Large Reasoning Models, LRMs)의 발전은 수학적 및 논리적 추론에서 인상적인 능력을 보여주고 있습니다. 그러나 현재의 LRM은 무지를 인정하거나 "모르겠다"고 응답하는 경우가 거의 없습니다. 대신, 종종 잘못된 답변을 내놓으면서도 지나친 자신감을 보여 사실적 신뢰성에 대한 우려를 불러일으키고 있습니다. 본 연구에서는 과도한 사고로 인해 지나친 자신감과 잘못된 답변을 초래하는 두 가지 병리적 추론 패턴, 즉 '마지막 순간 추측'과 '두 번째 생각의 나선형 반복'을 식별했습니다. 이러한 문제를 해결하기 위해, 우리는 간결하고 경계를 인지한 사실적 추론을 촉진하는 새로운 프레임워크인 BARREL을 제안합니다. 실험 결과, BARREL 훈련은 DeepSeek-R1-Distill-Llama-8B의 신뢰도를 39.33%에서 61.48%로 증가시키면서도 R1에 의해 생성된 추론 데이터로 미세 조정된 모델과 비슷한 정확도를 달성했습니다. 이러한 결과는 우리의 파일럿 연구가 더 신뢰할 수 있고 사실적인 System 2 LRM을 구축하는 데 영감을 준다는 것을 보여줍니다.

English

Recent advances in Large Reasoning Models (LRMs) have shown impressive capabilities in mathematical and logical reasoning. However, current LRMs rarely admit ignorance or respond with "I don't know". Instead, they often produce incorrect answers while showing undue confidence, raising concerns about their factual reliability. In this work, we identify two pathological reasoning patterns characterized by overthinking that contribute to the overconfident and incorrect answers: last-minute guessing and second-thought spiraling. To address these issues, we propose BARREL-a novel framework that promotes concise and boundary-aware factual reasoning. Our experiments show that BARREL-training increases the reliability of DeepSeek-R1-Distill-Llama-8B from 39.33% to 61.48%, while still achieving accuracy comparable to models finetuned on reasoning data generated by R1. These results demonstrate that our pilot study is inspiring to build more reliable and factual System 2 LRMs.