생각하며 기억하기: 추론이 LLM의 파라미터 지식 활용을 여는 방법

Thinking to Recall: How Reasoning Unlocks Parametric Knowledge in LLMs

March 10, 2026

저자: Zorik Gekhman, Roee Aharoni, Eran Ofek, Mor Geva, Roi Reichart, Jonathan Herzig

cs.AI

초록

LLM의 추론 능력은 수학, 코드 생성, 다단계 사실 질문 등에서 자연스러운 역할을 수행하지만, 단순한 단일 단계 사실 질문에서의 효과는 여전히 불분명합니다. 이러한 질문은 단계별 논리적 분해를 필요로 하지 않아 추론의 유용성이 매우 직관에 반대됩니다. 그럼에도 불구하고, 추론을 활성화하면 모델의 매개변수적 지식 회상 능력 경계가 크게 확장되어 원래는 효과적으로 도달할 수 없었던 정답을 획득할 수 있음을 발견했습니다. 복잡한 추론 단계가 필요하지 않은 상황에서 추론이 매개변수적 지식 회상에 도움이 되는 이유는 무엇일까요? 이를 해결하기 위해 우리는 일련의 가설 기반 통제 실험을 설계하고 두 가지 핵심 작동 메커니즘을 규명했습니다: (1) 생성된 추론 토큰의 의미적 내용과 무관하게 잠재적 계산을 수행하는 계산 완충 효과, 그리고 (2) 주제와 관련된 사실을 생성함으로써 정답 회상을 용이하게 하는 의미적 다리 역할을 하는 사실 프라이밍. 특히 후자의 생성적 자기 검색 메커니즘은 본질적인 위험을 내포합니다. 우리는 추론 과정에서 중간 사실을 환각하게 되면 최종 답변의 환각 발생 가능성이 높아진다는 점을 입증합니다. 마지막으로, 환각이 없는 사실 진술을 포함하는 추론 경로를 우선시함으로써 우리의 통찰이 모델 정확도를 직접 향상시키는 데 활용될 수 있음을 보여줍니다.

English

While reasoning in LLMs plays a natural role in math, code generation, and multi-hop factual questions, its effect on simple, single-hop factual questions remains unclear. Such questions do not require step-by-step logical decomposition, making the utility of reasoning highly counterintuitive. Nevertheless, we find that enabling reasoning substantially expands the capability boundary of the model's parametric knowledge recall, unlocking correct answers that are otherwise effectively unreachable. Why does reasoning aid parametric knowledge recall when there are no complex reasoning steps to be done? To answer this, we design a series of hypothesis-driven controlled experiments, and identify two key driving mechanisms: (1) a computational buffer effect, where the model uses the generated reasoning tokens to perform latent computation independent of their semantic content; and (2) factual priming, where generating topically related facts acts as a semantic bridge that facilitates correct answer retrieval. Importantly, this latter generative self-retrieval mechanism carries inherent risks: we demonstrate that hallucinating intermediate facts during reasoning increases the likelihood of hallucinations in the final answer. Finally, we show that our insights can be harnessed to directly improve model accuracy by prioritizing reasoning trajectories that contain hallucination-free factual statements.