추론 모델은 환각 현상에 더 취약한가?

Are Reasoning Models More Prone to Hallucination?

May 29, 2025

저자: Zijun Yao, Yantao Liu, Yanxu Chen, Jianhui Chen, Junfeng Fang, Lei Hou, Juanzi Li, Tat-Seng Chua

cs.AI

초록

최근에 발전된 대규모 추론 모델(LRMs)은 긴 사고의 연쇄(CoT) 추론 능력을 통해 복잡한 과제를 해결하는 데 강력한 성능을 보여주고 있습니다. 이러한 LRMs는 주로 형식적 추론 과제에 대한 사후 학습을 통해 개발되었기 때문에, 이들이 사실 탐색 과제에서 환각 현상을 줄이는 데 도움을 줄 수 있는 추론 능력을 일반화할 수 있는지는 여전히 불명확하고 논쟁의 여지가 있습니다. 예를 들어, DeepSeek-R1은 사실 탐색 벤치마크인 SimpleQA에서 성능 향상을 보고한 반면, OpenAI-o3는 오히려 더 심각한 환각 현상을 관찰했습니다. 이러한 차이는 자연스럽게 다음과 같은 연구 질문을 제기합니다: 추론 모델이 환각 현상에 더 취약한가요? 본 논문은 이 질문을 세 가지 관점에서 다룹니다. (1) 먼저, LRMs에서의 환각 현상에 대한 종합적인 평가를 수행합니다. 우리의 분석에 따르면, LRMs가 콜드 스타트 지도 미세 조정(SFT)과 검증 가능한 보상 강화 학습(RL)을 포함한 완전한 사후 학습 파이프라인을 거치면 환각 현상이 완화되는 것으로 나타났습니다. 반면, 증류만을 사용하거나 콜드 스타트 미세 조정 없이 RL 학습을 진행하면 더 미묘한 환각 현상이 발생합니다. (2) 서로 다른 사후 학습 파이프라인이 LRMs의 환각 현상에 미치는 영향을 탐구하기 위해 행동 분석을 수행합니다. 우리는 LRM의 사실성에 직접적으로 영향을 미치는 두 가지 중요한 인지 행동을 규명했습니다: 결함 반복(Flaw Repetition), 즉 표면적 추론 시도가 동일한 근본적인 결함 논리를 반복적으로 따르는 경우, 그리고 사고-답변 불일치(Think-Answer Mismatch), 즉 최종 답변이 이전의 CoT 과정과 충실히 일치하지 않는 경우입니다. (3) 더 나아가, 모델 불확실성의 관점에서 LRMs의 환각 현상 메커니즘을 조사합니다. 우리는 LRMs의 환각 현상 증가가 일반적으로 모델 불확실성과 사실적 정확성 간의 불일치와 관련이 있음을 발견했습니다. 본 연구는 LRMs에서의 환각 현상에 대한 초기 이해를 제공합니다.

English

Recently evolved large reasoning models (LRMs) show powerful performance in solving complex tasks with long chain-of-thought (CoT) reasoning capability. As these LRMs are mostly developed by post-training on formal reasoning tasks, whether they generalize the reasoning capability to help reduce hallucination in fact-seeking tasks remains unclear and debated. For instance, DeepSeek-R1 reports increased performance on SimpleQA, a fact-seeking benchmark, while OpenAI-o3 observes even severer hallucination. This discrepancy naturally raises the following research question: Are reasoning models more prone to hallucination? This paper addresses the question from three perspectives. (1) We first conduct a holistic evaluation for the hallucination in LRMs. Our analysis reveals that LRMs undergo a full post-training pipeline with cold start supervised fine-tuning (SFT) and verifiable reward RL generally alleviate their hallucination. In contrast, both distillation alone and RL training without cold start fine-tuning introduce more nuanced hallucinations. (2) To explore why different post-training pipelines alters the impact on hallucination in LRMs, we conduct behavior analysis. We characterize two critical cognitive behaviors that directly affect the factuality of a LRM: Flaw Repetition, where the surface-level reasoning attempts repeatedly follow the same underlying flawed logic, and Think-Answer Mismatch, where the final answer fails to faithfully match the previous CoT process. (3) Further, we investigate the mechanism behind the hallucination of LRMs from the perspective of model uncertainty. We find that increased hallucination of LRMs is usually associated with the misalignment between model uncertainty and factual accuracy. Our work provides an initial understanding of the hallucination in LRMs.