BARREL : Raisonnement Axé sur les Frontières pour des Modèles de Langue Fiables et Factuels

BARREL: Boundary-Aware Reasoning for Factual and Reliable LRMs

May 18, 2025

Auteurs: Junxiao Yang, Jinzhe Tu, Haoran Liu, Xiaoce Wang, Chujie Zheng, Zhexin Zhang, Shiyao Cui, Caishun Chen, Tiantian He, Hongning Wang, Yew-Soon Ong, Minlie Huang

cs.AI

Résumé

Les récents progrès des modèles de raisonnement à grande échelle (LRMs) ont montré des capacités impressionnantes en matière de raisonnement mathématique et logique. Cependant, les LRMs actuels admettent rarement leur ignorance ou répondent par "Je ne sais pas". Au lieu de cela, ils produisent souvent des réponses incorrectes tout en affichant une confiance excessive, ce qui soulève des inquiétudes quant à leur fiabilité factuelle. Dans ce travail, nous identifions deux schémas de raisonnement pathologiques caractérisés par une réflexion excessive qui contribuent à ces réponses trop confiantes et incorrectes : les conjectures de dernière minute et les spirales de secondes pensées. Pour résoudre ces problèmes, nous proposons BARREL, un cadre novateur qui favorise un raisonnement factuel concis et conscient des limites. Nos expériences montrent que l'entraînement avec BARREL augmente la fiabilité de DeepSeek-R1-Distill-Llama-8B de 39,33 % à 61,48 %, tout en atteignant une précision comparable à celle des modèles affinés sur des données de raisonnement générées par R1. Ces résultats démontrent que notre étude pilote est prometteuse pour construire des LRMs de type Système 2 plus fiables et factuels.

English

Recent advances in Large Reasoning Models (LRMs) have shown impressive capabilities in mathematical and logical reasoning. However, current LRMs rarely admit ignorance or respond with "I don't know". Instead, they often produce incorrect answers while showing undue confidence, raising concerns about their factual reliability. In this work, we identify two pathological reasoning patterns characterized by overthinking that contribute to the overconfident and incorrect answers: last-minute guessing and second-thought spiraling. To address these issues, we propose BARREL-a novel framework that promotes concise and boundary-aware factual reasoning. Our experiments show that BARREL-training increases the reliability of DeepSeek-R1-Distill-Llama-8B from 39.33% to 61.48%, while still achieving accuracy comparable to models finetuned on reasoning data generated by R1. These results demonstrate that our pilot study is inspiring to build more reliable and factual System 2 LRMs.