Auf dem Weg zu einem mechanistischen Verständnis der fehlenden Generalisierung von memoriertem Wissen beim Finetuning großer Sprachmodelle

Zusammenfassung

Das Feintuning von LLMs zur Integration neuen Wissens steht vor einer kritischen Herausforderung: LLMs können neue Fakten schnell auswendig lernen, sind jedoch nicht in der Lage, sie für nachgelagerte Denkaufgaben zu nutzen. Wir formalisieren dieses Versagen als die \textbf{Knowing-Using-Lücke}, die durch eine Genauigkeitslücke und eine zeitliche Verzögerung zwischen Auswendiglernen und Verallgemeinerung gekennzeichnet ist. Um dieses Phänomen zu verstehen, führen wir Feintuning bei LLMs mit unbekanntem Wissen durch und überwachen die räumliche Durchdringungsdynamik des Wissens intern mit einer neuartigen Interventionstechnik namens Self-Patching. Self-Patching identifiziert Aktivierungsorte, an denen die Verschiebung von Repräsentationen fehlgeschlagene Verallgemeinerungsfälle erheblich verbessert. Diese Ergebnisse stimmen mit der Hypothese einer Fehlausrichtung des Wissensschaltkreises überein: Auswendiggelernte Repräsentationen können intern existieren, aber nicht zu recheneffektiven Schichten weitergeleitet werden. Um die Praktikabilität dieses diagnostischen Befunds zu demonstrieren, entwerfen wir eine einfache heuristische Strategie, die 58–75 % des Oracle-Spielraums bei Verallgemeinerungsfehlern zurückgewinnt. Die Experimente werden domänenübergreifend durchgeführt, um die Robustheit dieses Befunds zu gewährleisten.

English

Fine-tuning LLMs to inject new knowledge faces a critical challenge: LLMs can quickly memorize new facts, yet fail to use them for downstream reasoning tasks. We formalize this failure as the \textbf{Knowing--Using Gap}, characterized by an accuracy gap and a temporal lag between memorization and generalization. To understand this phenomenon, we fine-tune LLMs with unseen knowledge and monitor the spatial permeation dynamics of the knowledge internally using a novel intervention technique called self-patching. Self-patching identifies activation locations where relocating representations substantially improves failed generalization cases. These results are consistent with a knowledge-circuit misalignment hypothesis: memorized representations can exist internally but may not be routed to computation-effective layers. To demonstrate the practicality of this diagnostic finding, we design a simple heuristic strategy which recovers 58--75\% of the oracle headroom in generalization failure. Experiments are done cross-domain for the robustness of this finding.