Склонны ли модели рассуждений к галлюцинациям?

Are Reasoning Models More Prone to Hallucination?

May 29, 2025

Авторы: Zijun Yao, Yantao Liu, Yanxu Chen, Jianhui Chen, Junfeng Fang, Lei Hou, Juanzi Li, Tat-Seng Chua

cs.AI

Аннотация

Недавно разработанные крупные модели рассуждений (LRMs) демонстрируют мощную производительность в решении сложных задач благодаря способности к длинным цепочкам рассуждений (CoT). Поскольку эти LRMs в основном развиваются путем посттренинга на задачах формального рассуждения, остается неясным и обсуждаемым, обобщают ли они свои способности к рассуждению для снижения галлюцинаций в задачах поиска фактов. Например, DeepSeek-R1 сообщает о повышении производительности на бенчмарке SimpleQA, ориентированном на поиск фактов, в то время как OpenAI-o3 наблюдает даже более сильные галлюцинации. Это расхождение естественным образом поднимает следующий исследовательский вопрос: более ли склонны модели рассуждений к галлюцинациям? В данной статье этот вопрос рассматривается с трех точек зрения. (1) Сначала мы проводим комплексную оценку галлюцинаций в LRMs. Наш анализ показывает, что LRMs, прошедшие полный посттренинг с использованием контролируемой тонкой настройки (SFT) с "холодного старта" и подкрепляющего обучения (RL) с проверяемыми наградами, в целом снижают уровень галлюцинаций. В то же время как дистилляция в одиночку и RL-тренинг без начальной тонкой настройки вводят более тонкие галлюцинации. (2) Чтобы понять, почему различные посттренинговые подходы по-разному влияют на галлюцинации в LRMs, мы проводим анализ поведения. Мы выделяем два критических когнитивных поведения, которые напрямую влияют на фактологическую точность LRM: Повторение ошибок, когда поверхностные попытки рассуждений повторяют одну и ту же ошибочную логику, и Несоответствие между рассуждением и ответом, когда итоговый ответ не соответствует предыдущему процессу CoT. (3) Кроме того, мы исследуем механизм галлюцинаций в LRMs с точки зрения неопределенности модели. Мы обнаруживаем, что увеличение галлюцинаций в LRMs обычно связано с рассогласованием между неопределенностью модели и фактической точностью. Наша работа предоставляет начальное понимание галлюцинаций в LRMs.

English

Recently evolved large reasoning models (LRMs) show powerful performance in solving complex tasks with long chain-of-thought (CoT) reasoning capability. As these LRMs are mostly developed by post-training on formal reasoning tasks, whether they generalize the reasoning capability to help reduce hallucination in fact-seeking tasks remains unclear and debated. For instance, DeepSeek-R1 reports increased performance on SimpleQA, a fact-seeking benchmark, while OpenAI-o3 observes even severer hallucination. This discrepancy naturally raises the following research question: Are reasoning models more prone to hallucination? This paper addresses the question from three perspectives. (1) We first conduct a holistic evaluation for the hallucination in LRMs. Our analysis reveals that LRMs undergo a full post-training pipeline with cold start supervised fine-tuning (SFT) and verifiable reward RL generally alleviate their hallucination. In contrast, both distillation alone and RL training without cold start fine-tuning introduce more nuanced hallucinations. (2) To explore why different post-training pipelines alters the impact on hallucination in LRMs, we conduct behavior analysis. We characterize two critical cognitive behaviors that directly affect the factuality of a LRM: Flaw Repetition, where the surface-level reasoning attempts repeatedly follow the same underlying flawed logic, and Think-Answer Mismatch, where the final answer fails to faithfully match the previous CoT process. (3) Further, we investigate the mechanism behind the hallucination of LRMs from the perspective of model uncertainty. We find that increased hallucination of LRMs is usually associated with the misalignment between model uncertainty and factual accuracy. Our work provides an initial understanding of the hallucination in LRMs.