¿Los modelos de razonamiento son más propensos a la alucinación?

Are Reasoning Models More Prone to Hallucination?

May 29, 2025

Autores: Zijun Yao, Yantao Liu, Yanxu Chen, Jianhui Chen, Junfeng Fang, Lei Hou, Juanzi Li, Tat-Seng Chua

cs.AI

Resumen

Los modelos de razonamiento de gran escala (LRMs, por sus siglas en inglés) evolucionados recientemente muestran un rendimiento poderoso en la resolución de tareas complejas con una capacidad de razonamiento de cadena de pensamiento (CoT) prolongada. Dado que estos LRMs se desarrollan principalmente mediante entrenamiento posterior en tareas de razonamiento formal, sigue siendo poco claro y debatido si generalizan su capacidad de razonamiento para ayudar a reducir la alucinación en tareas de búsqueda de hechos. Por ejemplo, DeepSeek-R1 reporta un aumento en el rendimiento en SimpleQA, un punto de referencia de búsqueda de hechos, mientras que OpenAI-o3 observa una alucinación aún más severa. Esta discrepancia plantea naturalmente la siguiente pregunta de investigación: ¿Son los modelos de razonamiento más propensos a la alucinación? Este artículo aborda la pregunta desde tres perspectivas. (1) Primero, realizamos una evaluación holística de la alucinación en los LRMs. Nuestro análisis revela que los LRMs que siguen una canalización completa de entrenamiento posterior con ajuste fino supervisado (SFT) de inicio en frío y aprendizaje por refuerzo (RL) con recompensas verificables generalmente reducen su alucinación. En contraste, tanto la destilación por sí sola como el entrenamiento RL sin ajuste fino de inicio en frío introducen alucinaciones más sutiles. (2) Para explorar por qué diferentes canalizaciones de entrenamiento posterior alteran el impacto en la alucinación de los LRMs, realizamos un análisis de comportamiento. Caracterizamos dos comportamientos cognitivos críticos que afectan directamente la factualidad de un LRM: Repetición de Errores, donde los intentos de razonamiento superficial siguen repetidamente la misma lógica subyacente defectuosa, y Desajuste Pensamiento-Respuesta, donde la respuesta final no coincide fielmente con el proceso CoT previo. (3) Además, investigamos el mecanismo detrás de la alucinación de los LRMs desde la perspectiva de la incertidumbre del modelo. Encontramos que el aumento de la alucinación en los LRMs suele estar asociado con la desalineación entre la incertidumbre del modelo y la precisión factual. Nuestro trabajo proporciona una comprensión inicial de la alucinación en los LRMs.

English

Recently evolved large reasoning models (LRMs) show powerful performance in solving complex tasks with long chain-of-thought (CoT) reasoning capability. As these LRMs are mostly developed by post-training on formal reasoning tasks, whether they generalize the reasoning capability to help reduce hallucination in fact-seeking tasks remains unclear and debated. For instance, DeepSeek-R1 reports increased performance on SimpleQA, a fact-seeking benchmark, while OpenAI-o3 observes even severer hallucination. This discrepancy naturally raises the following research question: Are reasoning models more prone to hallucination? This paper addresses the question from three perspectives. (1) We first conduct a holistic evaluation for the hallucination in LRMs. Our analysis reveals that LRMs undergo a full post-training pipeline with cold start supervised fine-tuning (SFT) and verifiable reward RL generally alleviate their hallucination. In contrast, both distillation alone and RL training without cold start fine-tuning introduce more nuanced hallucinations. (2) To explore why different post-training pipelines alters the impact on hallucination in LRMs, we conduct behavior analysis. We characterize two critical cognitive behaviors that directly affect the factuality of a LRM: Flaw Repetition, where the surface-level reasoning attempts repeatedly follow the same underlying flawed logic, and Think-Answer Mismatch, where the final answer fails to faithfully match the previous CoT process. (3) Further, we investigate the mechanism behind the hallucination of LRMs from the perspective of model uncertainty. We find that increased hallucination of LRMs is usually associated with the misalignment between model uncertainty and factual accuracy. Our work provides an initial understanding of the hallucination in LRMs.