Os Modelos de Raciocínio São Mais Propensos à Alucinação?

Resumo

Modelos de raciocínio de grande escala (LRMs) recentemente desenvolvidos demonstram um desempenho poderoso na resolução de tarefas complexas com capacidade de raciocínio em cadeia longa (CoT). Como esses LRMs são majoritariamente desenvolvidos por meio de pós-treinamento em tarefas de raciocínio formal, ainda não está claro e é motivo de debate se eles generalizam a capacidade de raciocínio para ajudar a reduzir alucinações em tarefas de busca de fatos. Por exemplo, o DeepSeek-R1 relata um aumento de desempenho no SimpleQA, um benchmark de busca de fatos, enquanto o OpenAI-o3 observa alucinações ainda mais severas. Essa discrepância naturalmente levanta a seguinte questão de pesquisa: Modelos de raciocínio são mais propensos a alucinações? Este artigo aborda a questão a partir de três perspectivas. (1) Primeiro, realizamos uma avaliação holística das alucinações em LRMs. Nossa análise revela que LRMs que passam por um pipeline completo de pós-treinamento com ajuste fino supervisionado (SFT) de início frio e RL de recompensa verificável geralmente reduzem suas alucinações. Em contraste, tanto a destilação isolada quanto o treinamento de RL sem ajuste fino de início frio introduzem alucinações mais sutis. (2) Para explorar por que diferentes pipelines de pós-treinamento alteram o impacto nas alucinações em LRMs, realizamos uma análise comportamental. Caracterizamos dois comportamentos cognitivos críticos que afetam diretamente a factualidade de um LRM: Repetição de Falhas, onde as tentativas de raciocínio superficial seguem repetidamente a mesma lógica subjacente falha, e Incompatibilidade Pensamento-Resposta, onde a resposta final não corresponde fielmente ao processo CoT anterior. (3) Além disso, investigamos o mecanismo por trás das alucinações dos LRMs sob a perspectiva da incerteza do modelo. Descobrimos que o aumento das alucinações dos LRMs geralmente está associado ao desalinhamento entre a incerteza do modelo e a precisão factual. Nosso trabalho fornece uma compreensão inicial das alucinações em LRMs.

English

Recently evolved large reasoning models (LRMs) show powerful performance in solving complex tasks with long chain-of-thought (CoT) reasoning capability. As these LRMs are mostly developed by post-training on formal reasoning tasks, whether they generalize the reasoning capability to help reduce hallucination in fact-seeking tasks remains unclear and debated. For instance, DeepSeek-R1 reports increased performance on SimpleQA, a fact-seeking benchmark, while OpenAI-o3 observes even severer hallucination. This discrepancy naturally raises the following research question: Are reasoning models more prone to hallucination? This paper addresses the question from three perspectives. (1) We first conduct a holistic evaluation for the hallucination in LRMs. Our analysis reveals that LRMs undergo a full post-training pipeline with cold start supervised fine-tuning (SFT) and verifiable reward RL generally alleviate their hallucination. In contrast, both distillation alone and RL training without cold start fine-tuning introduce more nuanced hallucinations. (2) To explore why different post-training pipelines alters the impact on hallucination in LRMs, we conduct behavior analysis. We characterize two critical cognitive behaviors that directly affect the factuality of a LRM: Flaw Repetition, where the surface-level reasoning attempts repeatedly follow the same underlying flawed logic, and Think-Answer Mismatch, where the final answer fails to faithfully match the previous CoT process. (3) Further, we investigate the mechanism behind the hallucination of LRMs from the perspective of model uncertainty. We find that increased hallucination of LRMs is usually associated with the misalignment between model uncertainty and factual accuracy. Our work provides an initial understanding of the hallucination in LRMs.

Os Modelos de Raciocínio São Mais Propensos à Alucinação?

Are Reasoning Models More Prone to Hallucination?

Resumo

Support