思考による想起：推論がLLMのパラメトリック知識を解放する仕組み

Thinking to Recall: How Reasoning Unlocks Parametric Knowledge in LLMs

March 10, 2026

著者: Zorik Gekhman, Roee Aharoni, Eran Ofek, Mor Geva, Roi Reichart, Jonathan Herzig

cs.AI

要旨

大規模言語モデルにおける推論は、数学やコード生成、多段階の事実質問において自然に役割を果たす一方で、単純な単一段階の事実質問への影響は未解明である。こうした質問は段階的な論理的分解を必要としないため、推論の有用性は直感に反する。しかし我々は、推論を可能にすることでモデルのパラメトリック知識想起の能力限界が大幅に拡張され、本来到達不能な正答が導かれることを発見した。複雑な推論ステップが不要な場合に、なぜ推論がパラメトリック知識想起を助けるのか？この問いに答えるため、仮説主導の制御実験を設計し、二つの主要な駆動メカニズムを特定した：（1）生成された推論トークンが意味内容とは独立した潜在計算を実行する「計算バッファ効果」、（2）関連する事実を生成することが正答検索を促進する意味的橋渡し役となる「事実的プライミング」である。特に後者の生成的自己検索メカニズムは本質的リスクを伴う：推論途中で虚偽の中間事実を生成すると、最終回答における虚偽の発生確率が高まることを実証する。最後に、虚偽のない事実陈述を含む推論経路を優先することで、モデルの精度向上に我々の知見が直接活用できることを示す。

English

While reasoning in LLMs plays a natural role in math, code generation, and multi-hop factual questions, its effect on simple, single-hop factual questions remains unclear. Such questions do not require step-by-step logical decomposition, making the utility of reasoning highly counterintuitive. Nevertheless, we find that enabling reasoning substantially expands the capability boundary of the model's parametric knowledge recall, unlocking correct answers that are otherwise effectively unreachable. Why does reasoning aid parametric knowledge recall when there are no complex reasoning steps to be done? To answer this, we design a series of hypothesis-driven controlled experiments, and identify two key driving mechanisms: (1) a computational buffer effect, where the model uses the generated reasoning tokens to perform latent computation independent of their semantic content; and (2) factual priming, where generating topically related facts acts as a semantic bridge that facilitates correct answer retrieval. Importantly, this latter generative self-retrieval mechanism carries inherent risks: we demonstrate that hallucinating intermediate facts during reasoning increases the likelihood of hallucinations in the final answer. Finally, we show that our insights can be harnessed to directly improve model accuracy by prioritizing reasoning trajectories that contain hallucination-free factual statements.