BARREL: Grenzbewusstes Reasoning für faktenbasierte und zuverlässige LRMs

BARREL: Boundary-Aware Reasoning for Factual and Reliable LRMs

May 18, 2025

Autoren: Junxiao Yang, Jinzhe Tu, Haoran Liu, Xiaoce Wang, Chujie Zheng, Zhexin Zhang, Shiyao Cui, Caishun Chen, Tiantian He, Hongning Wang, Yew-Soon Ong, Minlie Huang

cs.AI

Zusammenfassung

Jüngste Fortschritte bei Large Reasoning Models (LRMs) haben beeindruckende Fähigkeiten im mathematischen und logischen Denken gezeigt. Allerdings geben aktuelle LRMs selten Unwissenheit zu oder antworten mit „Ich weiß es nicht“. Stattdessen liefern sie oft falsche Antworten, während sie unangemessenes Selbstvertrauen zeigen, was Bedenken hinsichtlich ihrer faktischen Zuverlässigkeit aufwirft. In dieser Arbeit identifizieren wir zwei pathologische Denkmuster, die durch Überdenken gekennzeichnet sind und zu übermütigen und falschen Antworten beitragen: Last-Minute-Raten und Gedankenspiralen. Um diese Probleme anzugehen, schlagen wir BARREL vor – ein neuartiges Framework, das präzises und grenzbewusstes faktisches Denken fördert. Unsere Experimente zeigen, dass BARREL-Training die Zuverlässigkeit von DeepSeek-R1-Distill-Llama-8B von 39,33 % auf 61,48 % steigert, während es eine Genauigkeit erreicht, die mit Modellen vergleichbar ist, die auf von R1 generierten Denkdaten feinabgestimmt wurden. Diese Ergebnisse zeigen, dass unsere Pilotstudie inspirierend ist, um zuverlässigere und faktenbasierte System-2-LRMs zu entwickeln.

English

Recent advances in Large Reasoning Models (LRMs) have shown impressive capabilities in mathematical and logical reasoning. However, current LRMs rarely admit ignorance or respond with "I don't know". Instead, they often produce incorrect answers while showing undue confidence, raising concerns about their factual reliability. In this work, we identify two pathological reasoning patterns characterized by overthinking that contribute to the overconfident and incorrect answers: last-minute guessing and second-thought spiraling. To address these issues, we propose BARREL-a novel framework that promotes concise and boundary-aware factual reasoning. Our experiments show that BARREL-training increases the reliability of DeepSeek-R1-Distill-Llama-8B from 39.33% to 61.48%, while still achieving accuracy comparable to models finetuned on reasoning data generated by R1. These results demonstrate that our pilot study is inspiring to build more reliable and factual System 2 LRMs.