BARREL: Raciocínio Consciente de Limites para LRMs Fidedignos e Confiáveis

BARREL: Boundary-Aware Reasoning for Factual and Reliable LRMs

May 18, 2025

Autores: Junxiao Yang, Jinzhe Tu, Haoran Liu, Xiaoce Wang, Chujie Zheng, Zhexin Zhang, Shiyao Cui, Caishun Chen, Tiantian He, Hongning Wang, Yew-Soon Ong, Minlie Huang

cs.AI

Resumo

Os recentes avanços em Modelos de Raciocínio de Grande Escala (LRMs) têm demonstrado capacidades impressionantes em raciocínio matemático e lógico. No entanto, os LRMs atuais raramente admitem ignorância ou respondem com "Eu não sei". Em vez disso, frequentemente produzem respostas incorretas enquanto demonstram confiança excessiva, levantando preocupações sobre sua confiabilidade factual. Neste trabalho, identificamos dois padrões patológicos de raciocínio caracterizados por excesso de reflexão que contribuem para respostas superconfiantes e incorretas: adivinhação de última hora e espiral de reconsideração. Para abordar esses problemas, propomos o BARREL — uma nova estrutura que promove o raciocínio factual conciso e consciente dos limites. Nossos experimentos mostram que o treinamento com BARREL aumenta a confiabilidade do DeepSeek-R1-Distill-Llama-8B de 39,33% para 61,48%, mantendo uma precisão comparável a modelos ajustados em dados de raciocínio gerados pelo R1. Esses resultados demonstram que nosso estudo piloto é inspirador para a construção de LRMs do Sistema 2 mais confiáveis e factuais.

English

Recent advances in Large Reasoning Models (LRMs) have shown impressive capabilities in mathematical and logical reasoning. However, current LRMs rarely admit ignorance or respond with "I don't know". Instead, they often produce incorrect answers while showing undue confidence, raising concerns about their factual reliability. In this work, we identify two pathological reasoning patterns characterized by overthinking that contribute to the overconfident and incorrect answers: last-minute guessing and second-thought spiraling. To address these issues, we propose BARREL-a novel framework that promotes concise and boundary-aware factual reasoning. Our experiments show that BARREL-training increases the reliability of DeepSeek-R1-Distill-Llama-8B from 39.33% to 61.48%, while still achieving accuracy comparable to models finetuned on reasoning data generated by R1. These results demonstrate that our pilot study is inspiring to build more reliable and factual System 2 LRMs.