Zijn redeneermodellen gevoeliger voor hallucinatie?

Samenvatting

Onlangs ontwikkelde grote redeneermodellen (LRMs) tonen krachtige prestaties bij het oplossen van complexe taken met een lange keten-van-gedachten (CoT) redeneercapaciteit. Omdat deze LRMs voornamelijk zijn ontwikkeld door post-training op formele redeneertaken, blijft het onduidelijk en onderwerp van debat of ze de redeneercapaciteit generaliseren om hallucinaties te helpen verminderen in feitenzoekende taken. Zo meldt DeepSeek-R1 een verbeterde prestatie op SimpleQA, een feitenzoekende benchmark, terwijl OpenAI-o3 zelfs ernstigere hallucinaties waarneemt. Deze tegenstrijdigheid roept van nature de volgende onderzoeksvraag op: Zijn redeneermodellen gevoeliger voor hallucinaties? Dit artikel behandelt deze vraag vanuit drie perspectieven. (1) We voeren eerst een holistische evaluatie uit van hallucinaties in LRMs. Onze analyse toont aan dat LRMs die een volledige post-training pijplijn ondergaan met cold start supervised fine-tuning (SFT) en verifieerbare beloning RL over het algemeen hun hallucinaties verminderen. Daarentegen introduceren zowel distillatie alleen als RL-training zonder cold start fine-tuning meer subtiele hallucinaties. (2) Om te onderzoeken waarom verschillende post-training pijplijnen de impact op hallucinaties in LRMs veranderen, voeren we gedragsanalyses uit. We karakteriseren twee kritieke cognitieve gedragingen die de feitelijkheid van een LRM direct beïnvloeden: Foutherhaling, waarbij oppervlakkige redeneerpogingen herhaaldelijk dezelfde onderliggende foutieve logica volgen, en Denk-Antwoord Mismatch, waarbij het uiteindelijke antwoord niet trouw overeenkomt met het voorgaande CoT-proces. (3) Verder onderzoeken we het mechanisme achter de hallucinaties van LRMs vanuit het perspectief van modelonzekerheid. We constateren dat toegenomen hallucinaties van LRMs meestal samenhangen met de misalignering tussen modelonzekerheid en feitelijke nauwkeurigheid. Ons werk biedt een eerste inzicht in de hallucinaties van LRMs.

English

Recently evolved large reasoning models (LRMs) show powerful performance in solving complex tasks with long chain-of-thought (CoT) reasoning capability. As these LRMs are mostly developed by post-training on formal reasoning tasks, whether they generalize the reasoning capability to help reduce hallucination in fact-seeking tasks remains unclear and debated. For instance, DeepSeek-R1 reports increased performance on SimpleQA, a fact-seeking benchmark, while OpenAI-o3 observes even severer hallucination. This discrepancy naturally raises the following research question: Are reasoning models more prone to hallucination? This paper addresses the question from three perspectives. (1) We first conduct a holistic evaluation for the hallucination in LRMs. Our analysis reveals that LRMs undergo a full post-training pipeline with cold start supervised fine-tuning (SFT) and verifiable reward RL generally alleviate their hallucination. In contrast, both distillation alone and RL training without cold start fine-tuning introduce more nuanced hallucinations. (2) To explore why different post-training pipelines alters the impact on hallucination in LRMs, we conduct behavior analysis. We characterize two critical cognitive behaviors that directly affect the factuality of a LRM: Flaw Repetition, where the surface-level reasoning attempts repeatedly follow the same underlying flawed logic, and Think-Answer Mismatch, where the final answer fails to faithfully match the previous CoT process. (3) Further, we investigate the mechanism behind the hallucination of LRMs from the perspective of model uncertainty. We find that increased hallucination of LRMs is usually associated with the misalignment between model uncertainty and factual accuracy. Our work provides an initial understanding of the hallucination in LRMs.

Zijn redeneermodellen gevoeliger voor hallucinatie?

Are Reasoning Models More Prone to Hallucination?

Samenvatting

Support