BARREL: Grensbewust Redeneren voor Feitelijke en Betrouwbare LRM's

BARREL: Boundary-Aware Reasoning for Factual and Reliable LRMs

May 18, 2025

Auteurs: Junxiao Yang, Jinzhe Tu, Haoran Liu, Xiaoce Wang, Chujie Zheng, Zhexin Zhang, Shiyao Cui, Caishun Chen, Tiantian He, Hongning Wang, Yew-Soon Ong, Minlie Huang

cs.AI

Samenvatting

Recente ontwikkelingen in Large Reasoning Models (LRMs) hebben indrukwekkende mogelijkheden getoond op het gebied van wiskundig en logisch redeneren. Huidige LRMs geven echter zelden toe dat ze iets niet weten of reageren met "Ik weet het niet". In plaats daarvan produceren ze vaak incorrecte antwoorden terwijl ze onterecht veel vertrouwen uitstralen, wat zorgen oproept over hun feitelijke betrouwbaarheid. In dit werk identificeren we twee pathologische redeneerpatronen die worden gekenmerkt door overdenken en die bijdragen aan overmoedige en incorrecte antwoorden: last-minute gissen en second-thought spiraling. Om deze problemen aan te pakken, stellen we BARREL voor—een nieuw raamwerk dat beknopt en grenzenbewust feitelijk redeneren bevordert. Onze experimenten tonen aan dat BARREL-training de betrouwbaarheid van DeepSeek-R1-Distill-Llama-8B verhoogt van 39,33% naar 61,48%, terwijl nog steeds een nauwkeurigheid wordt bereikt die vergelijkbaar is met modellen die zijn afgestemd op redeneergegevens gegenereerd door R1. Deze resultaten laten zien dat onze pilotstudie inspirerend is voor het bouwen van betrouwbaardere en feitelijkere System 2 LRMs.

English

Recent advances in Large Reasoning Models (LRMs) have shown impressive capabilities in mathematical and logical reasoning. However, current LRMs rarely admit ignorance or respond with "I don't know". Instead, they often produce incorrect answers while showing undue confidence, raising concerns about their factual reliability. In this work, we identify two pathological reasoning patterns characterized by overthinking that contribute to the overconfident and incorrect answers: last-minute guessing and second-thought spiraling. To address these issues, we propose BARREL-a novel framework that promotes concise and boundary-aware factual reasoning. Our experiments show that BARREL-training increases the reliability of DeepSeek-R1-Distill-Llama-8B from 39.33% to 61.48%, while still achieving accuracy comparable to models finetuned on reasoning data generated by R1. These results demonstrate that our pilot study is inspiring to build more reliable and factual System 2 LRMs.