BARREL: Razonamiento Consciente de los Límites para Modelos de Lenguaje Robustos y Confiables

BARREL: Boundary-Aware Reasoning for Factual and Reliable LRMs

May 18, 2025

Autores: Junxiao Yang, Jinzhe Tu, Haoran Liu, Xiaoce Wang, Chujie Zheng, Zhexin Zhang, Shiyao Cui, Caishun Chen, Tiantian He, Hongning Wang, Yew-Soon Ong, Minlie Huang

cs.AI

Resumen

Los recientes avances en los Modelos de Razonamiento a Gran Escala (LRMs, por sus siglas en inglés) han demostrado capacidades impresionantes en razonamiento matemático y lógico. Sin embargo, los LRMs actuales rara vez admiten ignorancia o responden con "No lo sé". En su lugar, a menudo producen respuestas incorrectas mientras muestran una confianza excesiva, lo que genera preocupaciones sobre su fiabilidad factual. En este trabajo, identificamos dos patrones patológicos de razonamiento caracterizados por el sobreanálisis que contribuyen a respuestas incorrectas y demasiado confiadas: la conjetura de último minuto y la espiral de segundas opiniones. Para abordar estos problemas, proponemos BARREL, un marco novedoso que promueve un razonamiento factual conciso y consciente de los límites. Nuestros experimentos muestran que el entrenamiento con BARREL aumenta la fiabilidad de DeepSeek-R1-Distill-Llama-8B del 39.33% al 61.48%, manteniendo una precisión comparable a los modelos ajustados con datos de razonamiento generados por R1. Estos resultados demuestran que nuestro estudio piloto es inspirador para construir LRMs de Sistema 2 más fiables y factuales.

English

Recent advances in Large Reasoning Models (LRMs) have shown impressive capabilities in mathematical and logical reasoning. However, current LRMs rarely admit ignorance or respond with "I don't know". Instead, they often produce incorrect answers while showing undue confidence, raising concerns about their factual reliability. In this work, we identify two pathological reasoning patterns characterized by overthinking that contribute to the overconfident and incorrect answers: last-minute guessing and second-thought spiraling. To address these issues, we propose BARREL-a novel framework that promotes concise and boundary-aware factual reasoning. Our experiments show that BARREL-training increases the reliability of DeepSeek-R1-Distill-Llama-8B from 39.33% to 61.48%, while still achieving accuracy comparable to models finetuned on reasoning data generated by R1. These results demonstrate that our pilot study is inspiring to build more reliable and factual System 2 LRMs.