Naar een mechanistisch begrip van waarom gememoriseerde kennis niet generaliseert bij fijnafstemming van grote taalmodellen

Samenvatting

Het finetunen van LLM's om nieuwe kennis te injecteren kent een kritieke uitdaging: LLM's kunnen nieuwe feiten snel memoriseren, maar slagen er niet in deze te gebruiken voor stroomafwaartse redeneertaken. We formaliseren dit falen als de \textbf{Kennis–Gebruik kloof}, gekenmerkt door een nauwkeurigheidskloof en een temporele vertraging tussen memorisatie en generalisatie. Om dit fenomeen te begrijpen, finetunen we LLM's met ongeziene kennis en monitoren we de interne ruimtelijke diffusiedynamiek van de kennis met behulp van een nieuwe interventietechniek genaamd zelf-patching. Zelf-patching identificeert activatielocaties waar het verplaatsen van representaties mislukte generalisatiegevallen aanzienlijk verbetert. Deze resultaten zijn consistent met een hypothese van verkeerde uitlijning van kenniscircuits: gememoriseerde representaties kunnen intern bestaan, maar worden mogelijk niet naar rekeneffectieve lagen geleid. Om de praktische toepasbaarheid van deze diagnostische bevinding aan te tonen, ontwerpen we een eenvoudige heuristische strategie die 58–75% van de oracle-headroom bij generalisatiefalen herstelt. De experimenten worden cross-domein uitgevoerd voor de robuustheid van deze bevinding.

English

Fine-tuning LLMs to inject new knowledge faces a critical challenge: LLMs can quickly memorize new facts, yet fail to use them for downstream reasoning tasks. We formalize this failure as the \textbf{Knowing--Using Gap}, characterized by an accuracy gap and a temporal lag between memorization and generalization. To understand this phenomenon, we fine-tune LLMs with unseen knowledge and monitor the spatial permeation dynamics of the knowledge internally using a novel intervention technique called self-patching. Self-patching identifies activation locations where relocating representations substantially improves failed generalization cases. These results are consistent with a knowledge-circuit misalignment hypothesis: memorized representations can exist internally but may not be routed to computation-effective layers. To demonstrate the practicality of this diagnostic finding, we design a simple heuristic strategy which recovers 58--75\% of the oracle headroom in generalization failure. Experiments are done cross-domain for the robustness of this finding.