Denken, um sich zu erinnern: Wie logisches Schließen parametrisches Wissen in LLMs freisetzt

Thinking to Recall: How Reasoning Unlocks Parametric Knowledge in LLMs

March 10, 2026

Autoren: Zorik Gekhman, Roee Aharoni, Eran Ofek, Mor Geva, Roi Reichart, Jonathan Herzig

cs.AI

Zusammenfassung

Während Reasoning in LLMs eine natürliche Rolle bei mathematischen Aufgaben, Code-Generierung und mehrstufigen Faktenfragen spielt, bleibt seine Wirkung auf einfache, einstufige Faktenfragen unklar. Solche Fragen erfordern keine schrittweise logische Zerlegung, was den Nutzen von Reasoning höchst kontraintuitiv erscheinen lässt. Dennoch stellen wir fest, dass Reasoning die Fähigkeitsgrenze der parametrischen Wissensabfrage des Modells erheblich erweitert und korrekte Antworten freisetzt, die ansonsten effektiv unerreichbar bleiben. Warum unterstützt Reasoning die parametrische Wissensabfrage, wenn keine komplexen Denkschritte erforderlich sind? Um dies zu beantworten, entwerfen wir eine Reihe hypothesengesteuerter Kontrollexperimente und identifizieren zwei zentrale Mechanismen: (1) einen Rechenpuffereffekt, bei dem das Modell die generierten Reasoning-Tokens für latente Berechnungen unabhängig von ihrem semantischen Inhalt nutzt, und (2) faktisches Priming, bei dem die Generierung themenverwandter Fakten als semantische Brücke fungiert, die die korrekte Antwortabfrage erleichtert. Dieser letztgenannte generative Selbstabrufmechanismus birgt inherente Risiken: Wir zeigen, dass das Halluzinieren intermediärer Fakten während des Reasonings die Wahrscheinlichkeit von Halluzinationen in der Endantwort erhöht. Abschließend demonstrieren wir, dass unsere Erkenntnisse genutzt werden können, um die Modellgenauigkeit direkt zu verbessern, indem Reasoning-Pfade priorisiert werden, die halluzinationsfreie Faktenaussagen enthalten.

English

While reasoning in LLMs plays a natural role in math, code generation, and multi-hop factual questions, its effect on simple, single-hop factual questions remains unclear. Such questions do not require step-by-step logical decomposition, making the utility of reasoning highly counterintuitive. Nevertheless, we find that enabling reasoning substantially expands the capability boundary of the model's parametric knowledge recall, unlocking correct answers that are otherwise effectively unreachable. Why does reasoning aid parametric knowledge recall when there are no complex reasoning steps to be done? To answer this, we design a series of hypothesis-driven controlled experiments, and identify two key driving mechanisms: (1) a computational buffer effect, where the model uses the generated reasoning tokens to perform latent computation independent of their semantic content; and (2) factual priming, where generating topically related facts acts as a semantic bridge that facilitates correct answer retrieval. Importantly, this latter generative self-retrieval mechanism carries inherent risks: we demonstrate that hallucinating intermediate facts during reasoning increases the likelihood of hallucinations in the final answer. Finally, we show that our insights can be harnessed to directly improve model accuracy by prioritizing reasoning trajectories that contain hallucination-free factual statements.