Penser pour se souvenir : comment le raisonnement libère les connaissances paramétriques dans les LLM

Thinking to Recall: How Reasoning Unlocks Parametric Knowledge in LLMs

March 10, 2026

Auteurs: Zorik Gekhman, Roee Aharoni, Eran Ofek, Mor Geva, Roi Reichart, Jonathan Herzig

cs.AI

Résumé

Si le raisonnement dans les LLM joue un rôle naturel en mathématiques, en génération de code et pour les questions factuelles à inférences multiples, son effet sur les questions factuelles simples et directes reste incertain. Ces questions ne nécessitent pas de décomposition logique étape par étape, ce qui rend l'utilité du raisonnement hautement contre-intuitive. Pourtant, nous constatons que l'activation du raisonnement élargit substantiellement la frontière des capacités de rappel des connaissances paramétriques du modèle, débloquant des réponses correctes qui seraient autrement inaccessibles. Pourquoi le raisonnement facilite-t-il le rappel de connaissances paramétriques alors qu'aucune étape de raisonnement complexe n'est nécessaire ? Pour répondre à cette question, nous concevons une série d'expériences contrôlées guidées par des hypothèses et identifions deux mécanismes clés : (1) un effet tampon computationnel, où le modèle utilise les jetons de raisonnement générés pour effectuer un calcul latent indépendant de leur contenu sémantique ; et (2) un amorçage factuel, où la génération de faits topiquement liés agit comme un pont sémantique facilitant la récupération de la réponse correcte. Fait important, ce dernier mécanisme d'auto-récupération générative comporte des risques inhérents : nous démontrons que le fait d'halluciner des faits intermédiaires durant le raisonnement augmente la probabilité d'hallucinations dans la réponse finale. Enfin, nous montrons que nos conclusions peuvent être exploitées pour améliorer directement la précision du modèle en prioritisant les trajectoires de raisonnement contenant des énoncés factuels exempts d'hallucinations.

English

While reasoning in LLMs plays a natural role in math, code generation, and multi-hop factual questions, its effect on simple, single-hop factual questions remains unclear. Such questions do not require step-by-step logical decomposition, making the utility of reasoning highly counterintuitive. Nevertheless, we find that enabling reasoning substantially expands the capability boundary of the model's parametric knowledge recall, unlocking correct answers that are otherwise effectively unreachable. Why does reasoning aid parametric knowledge recall when there are no complex reasoning steps to be done? To answer this, we design a series of hypothesis-driven controlled experiments, and identify two key driving mechanisms: (1) a computational buffer effect, where the model uses the generated reasoning tokens to perform latent computation independent of their semantic content; and (2) factual priming, where generating topically related facts acts as a semantic bridge that facilitates correct answer retrieval. Importantly, this latter generative self-retrieval mechanism carries inherent risks: we demonstrate that hallucinating intermediate facts during reasoning increases the likelihood of hallucinations in the final answer. Finally, we show that our insights can be harnessed to directly improve model accuracy by prioritizing reasoning trajectories that contain hallucination-free factual statements.