타깃 측 리더 적응을 통한 교차 모델 메모리 전이

초록

대규모 언어 모델의 지식 활용을 개선하기 위한 방법들은 일반적으로 두 가지 체계로 구분된다. 비모수적 검색(non-parametric retrieval)은 외부 지식에 대한 유연한 접근을 제공하지만, 검색 지연시간, 컨텍스트 오버헤드를 추가하고 백본(backbone)과의 통합이 얕다는 한계가 있다. 모수적 적응(parametric adaptation)은 추론 시 효율적이지만, 지식을 모델 가중치와 결합시켜 갱신, 감사(audit), 전이가 어려울 수 있다. 엔그램(Engram) 방식의 해시 메모리(hash memory)는 중간 체계를 점유한다. 학습된 정보를 외부의 주소 지정 가능한 테이블에 저장하되, 해당 테이블을 소규모 학습 리더(reader)를 통해 소비한다. 이는 근본적인 질문을 제기한다: 이러한 메모리가 서로 다른 백본 간에 이동될 때, 동결된 메모리 자체와 대상 측 리더 중 무엇이 더 중요한가? 우리는 교차 모델 동결 메모리 추출(cross-model frozen-memory extraction)을 통해 이 질문을 연구한다. 이 방식에서는 소스 모델에서 학습된 메모리를 동결하고 경량 리더만 학습시킨 채 다른 대상 모델에 부착한다. 절제 실험(ablation) 결과, 학습된 메모리 콘텐츠와 올바른 주소 지정이 모두 중요하지만, 전이된 테이블은 대상 모델에 정렬된 리더를 통해서만 유용해지는 것으로 나타났다. 하류 질의응답 과제에서 이중 계층, 4분기(branch) 리더는 동일 모델 재사용과 교차 모델 재사용 간의 격차를 거의 좁혔으며, 통제된 평가 프로토콜에서 평균 점수 38.8을 달성했다. 또한, 제공자 측 리더가 대상 인터페이스와 직접 호환되는 경우, 동결된 산출물은 대상 측 훈련 없이도 상당한 효용을 제공할 수 있으며, 선택적 리더 적응을 통해 추가적인 개선이 가능하다. 이러한 결과는 엥그램이 호환 가능한 리더 인터페이스에 접근할 수 있는 경우 재사용 가능한 외부 지식 산출물로 기능할 수 있음을 시사한다. 직접적인 리더 재사용이 충분하지 않을 때는 대상 측 적응이 정렬을 추가로 개선할 수 있다.

English

Methods for improving knowledge use in large language models typically fall into two regimes. Non-parametric retrieval offers flexible access to external knowledge, but adds retrieval latency, context overhead, and only shallow integration with the backbone. Parametric adaptation is efficient at inference time, but entangles knowledge with model weights and can be hard to update, audit, or transfer. Engram-style hashed memory occupies a middle regime: it stores learned information in an external, addressable table, yet consumes that table through a small learned reader. This raises a basic question: when such a memory is moved across backbones, what matters more, the frozen memory itself or the target-side reader? We study this question through cross-model frozen-memory extraction, in which a memory trained on a source model is frozen and attached to a different target model, with only a lightweight reader trained. Ablations show that learned memory content and correct addressing both matter, but the transferred table becomes useful only through a reader aligned to the target model. In downstream question answering tasks, a dual-layer, four-branch reader nearly closes the gap between same-model and cross-model reuse, achieving an average score of 38.8 under our controlled evaluation protocol. Moreover, when the provider reader is directly compatible with the target interface, the frozen artifact can provide substantial utility without target-side training, while optional reader adaptation yields further improvement. These results suggest that Engram can serve as a reusable external knowledge artifact, provided that the target has access to a compatible reader interface; target-side adaptation can further improve alignment when direct reader reuse is insufficient.