ターゲット側リーダー適応によるクロスモデルメモリ転送

要旨

大規模言語モデルにおける知識利用を改善する手法は、通常、2つの方式に大別される。ノンパラメトリック検索は、外部知識への柔軟なアクセスを提供するが、検索レイテンシやコンテキストのオーバーヘッドを追加し、バックボーンとの統合は浅いものにとどまる。パラメトリック適応は推論時には効率的であるが、知識をモデルの重みと絡み合わせるため、更新、監査、転送が困難になり得る。Engramスタイルのハッシュ化メモリは中間の方式に位置づけられる。すなわち、学習した情報を外部のアドレス指定可能なテーブルに格納しつつ、そのテーブルを小さな学習されたリーダーを通じて利用する。これにより、基本的な疑問が生じる。そのようなメモリをバックボーン間で移動する場合、凍結されたメモリ自体とターゲット側のリーダーのどちらがより重要か。我々はこの疑問を、クロスモデル凍結メモリ抽出を通じて研究した。この手法では、ソースモデルで学習されたメモリを凍結し、異なるターゲットモデルに接続する。その際、軽量なリーダーのみを学習する。アブレーションにより、学習されたメモリの内容と正しいアドレッシングの両方が重要であることが示されるが、転送されたテーブルは、ターゲットモデルに適合したリーダーを通じてのみ有用になる。下流の質問応答タスクにおいて、二層・四分岐のリーダーは、同一モデル再利用とクロスモデル再利用の間のギャップをほぼ埋め、我々の制御された評価プロトコルの下で平均スコア38.8を達成した。さらに、提供元のリーダーがターゲットのインターフェースと直接互換性がある場合、凍結されたアーティファクトはターゲット側の学習なしで実質的な有用性を提供でき、任意のリーダー適応によってさらなる改善が得られる。これらの結果は、ターゲットが互換性のあるリーダーインターフェースにアクセスできる場合、Engramが再利用可能な外部知識アーティファクトとして機能し得ること、そして直接のリーダー再利用が不十分な場合にはターゲット側の適応が整合性をさらに改善できることを示唆している。

English

Methods for improving knowledge use in large language models typically fall into two regimes. Non-parametric retrieval offers flexible access to external knowledge, but adds retrieval latency, context overhead, and only shallow integration with the backbone. Parametric adaptation is efficient at inference time, but entangles knowledge with model weights and can be hard to update, audit, or transfer. Engram-style hashed memory occupies a middle regime: it stores learned information in an external, addressable table, yet consumes that table through a small learned reader. This raises a basic question: when such a memory is moved across backbones, what matters more, the frozen memory itself or the target-side reader? We study this question through cross-model frozen-memory extraction, in which a memory trained on a source model is frozen and attached to a different target model, with only a lightweight reader trained. Ablations show that learned memory content and correct addressing both matter, but the transferred table becomes useful only through a reader aligned to the target model. In downstream question answering tasks, a dual-layer, four-branch reader nearly closes the gap between same-model and cross-model reuse, achieving an average score of 38.8 under our controlled evaluation protocol. Moreover, when the provider reader is directly compatible with the target interface, the frozen artifact can provide substantial utility without target-side training, while optional reader adaptation yields further improvement. These results suggest that Engram can serve as a reusable external knowledge artifact, provided that the target has access to a compatible reader interface; target-side adaptation can further improve alignment when direct reader reuse is insufficient.