大規模言語モデルのファインチューニングにおいて記憶された知識が一般化に失敗するメカニズムの理解に向けて

要旨

大規模言語モデル（LLM）をファインチューニングして新たな知識を注入する際、重要な課題が存在する。LLMは新しい事実を迅速に記憶できる一方、下流の推論タスクでそれらを活用できないという問題である。本稿ではこの失敗を「知識－利用ギャップ（Knowing-Using Gap）」として形式化する。これは、記憶と汎化の間における精度ギャップと時間的遅れによって特徴づけられる。この現象を理解するため、LLMを未知の知識でファインチューニングし、新たな介入手法「セルフパッチング」を用いて知識の内部での空間的浸透ダイナミクスを監視する。セルフパッチングは、活性化の位置を特定し、その表現を再配置することで失敗した汎化ケースを大幅に改善できる箇所を特定する。これらの結果は、知識回路ミスアライメント仮説（knowledge-circuit misalignment hypothesis）と一致する。すなわち、記憶された表現は内部に存在しうるが、計算に有効な層へ適切にルーティングされない可能性がある。この診断的発見の実用性を示すため、単純なヒューリスティック戦略を設計し、汎化失敗におけるオラクルの性能向上余地の58～75％を回復した。実験はこの発見の頑健性を確認するため、複数領域にわたり実施された。

English

Fine-tuning LLMs to inject new knowledge faces a critical challenge: LLMs can quickly memorize new facts, yet fail to use them for downstream reasoning tasks. We formalize this failure as the \textbf{Knowing--Using Gap}, characterized by an accuracy gap and a temporal lag between memorization and generalization. To understand this phenomenon, we fine-tune LLMs with unseen knowledge and monitor the spatial permeation dynamics of the knowledge internally using a novel intervention technique called self-patching. Self-patching identifies activation locations where relocating representations substantially improves failed generalization cases. These results are consistent with a knowledge-circuit misalignment hypothesis: memorized representations can exist internally but may not be routed to computation-effective layers. To demonstrate the practicality of this diagnostic finding, we design a simple heuristic strategy which recovers 58--75\% of the oracle headroom in generalization failure. Experiments are done cross-domain for the robustness of this finding.