대규모 언어 모델 미세 조정에서 암기된 지식이 일반화에 실패하는 이유에 대한 메커니즘적 이해를 향하여

초록

LLM(대규모 언어 모델)을 미세 조정하여 새로운 지식을 주입할 때 중요한 과제가 발생한다: LLM은 새로운 사실을 빠르게 기억할 수 있지만, 이를 하위 추론 작업에 활용하지는 못한다. 본 연구에서는 이러한 실패를 **알고 활용 간 격차(Knowing–Using Gap)** 로 공식화하며, 이는 기억화(memorization)와 일반화(generalization) 간의 정확도 차이와 시간적 지연으로 특징지어진다. 이 현상을 이해하기 위해, 우리는 LLM을 사전에 학습되지 않은 지식으로 미세 조정하고, 자체 패칭(self-patching)이라는 새로운 개입 기법을 사용하여 내부적으로 지식의 공간적 침투 동역학을 모니터링한다. 자체 패칭은 표현을 재배치함으로써 실패한 일반화 사례를 유의미하게 개선하는 활성화 위치를 식별한다. 이러한 결과는 지식 회로 부정합(knowledge-circuit misalignment) 가설과 일관된다: 기억된 표현이 내부적으로 존재할 수 있지만, 연산 효율적인 계층으로 경로 설정되지 않을 수 있다는 것이다. 본 진단적 발견의 실용성을 입증하기 위해, 우리는 일반화 실패에서 오라클 여유 공간(oracle headroom)의 58~75%를 회복하는 간단한 휴리스틱 전략을 설계한다. 실험은 이 발견의 견고성을 위해 교차 도메인으로 수행된다.

English

Fine-tuning LLMs to inject new knowledge faces a critical challenge: LLMs can quickly memorize new facts, yet fail to use them for downstream reasoning tasks. We formalize this failure as the \textbf{Knowing--Using Gap}, characterized by an accuracy gap and a temporal lag between memorization and generalization. To understand this phenomenon, we fine-tune LLMs with unseen knowledge and monitor the spatial permeation dynamics of the knowledge internally using a novel intervention technique called self-patching. Self-patching identifies activation locations where relocating representations substantially improves failed generalization cases. These results are consistent with a knowledge-circuit misalignment hypothesis: memorized representations can exist internally but may not be routed to computation-effective layers. To demonstrate the practicality of this diagnostic finding, we design a simple heuristic strategy which recovers 58--75\% of the oracle headroom in generalization failure. Experiments are done cross-domain for the robustness of this finding.