BARREL: Ragionamento Basato sui Confini per LRM Fattuali e Affidabili

BARREL: Boundary-Aware Reasoning for Factual and Reliable LRMs

May 18, 2025

Autori: Junxiao Yang, Jinzhe Tu, Haoran Liu, Xiaoce Wang, Chujie Zheng, Zhexin Zhang, Shiyao Cui, Caishun Chen, Tiantian He, Hongning Wang, Yew-Soon Ong, Minlie Huang

cs.AI

Abstract

I recenti progressi nei Modelli di Ragionamento su Grande Scala (LRMs) hanno dimostrato capacità impressionanti nel ragionamento matematico e logico. Tuttavia, gli attuali LRMs raramente ammettono ignoranza o rispondono con "Non lo so". Invece, spesso producono risposte errate mostrando una fiducia eccessiva, sollevando preoccupazioni riguardo alla loro affidabilità fattuale. In questo lavoro, identifichiamo due modelli patologici di ragionamento caratterizzati da un eccesso di pensiero che contribuiscono a risposte eccessivamente sicure e scorrette: l'ipotesi dell'ultimo minuto e la spirale del ripensamento. Per affrontare questi problemi, proponiamo BARREL, un nuovo framework che promuove un ragionamento fattuale conciso e consapevole dei limiti. I nostri esperimenti mostrano che l'addestramento con BARREL aumenta l'affidabilità di DeepSeek-R1-Distill-Llama-8B dal 39,33% al 61,48%, mantenendo comunque un'accuratezza paragonabile ai modelli perfezionati su dati di ragionamento generati da R1. Questi risultati dimostrano che il nostro studio pilota è stimolante per costruire LRMs di Sistema 2 più affidabili e fattuali.

English

Recent advances in Large Reasoning Models (LRMs) have shown impressive capabilities in mathematical and logical reasoning. However, current LRMs rarely admit ignorance or respond with "I don't know". Instead, they often produce incorrect answers while showing undue confidence, raising concerns about their factual reliability. In this work, we identify two pathological reasoning patterns characterized by overthinking that contribute to the overconfident and incorrect answers: last-minute guessing and second-thought spiraling. To address these issues, we propose BARREL-a novel framework that promotes concise and boundary-aware factual reasoning. Our experiments show that BARREL-training increases the reliability of DeepSeek-R1-Distill-Llama-8B from 39.33% to 61.48%, while still achieving accuracy comparable to models finetuned on reasoning data generated by R1. These results demonstrate that our pilot study is inspiring to build more reliable and factual System 2 LRMs.