大規模メモリデコーダ：事前学習済みのパラメトリック長期記憶

要旨

デコーダのみの言語モデルは、長期記憶と推論を単一のパラメータセットに絡み合わせるため、記憶容量を独立して拡張することが難しい。Memory Decoderはパラメトリックな長期記憶モジュールを導入するが、それは比較的小規模でのみ研究されている。本研究では、メモリモデルを69億パラメータまでスケールし、3000億トークンで事前学習する、大規模Memory Decoder（Memory Decoder at Scale）を提示する。このデータ規模では、インデックス作成と検索の複合コストにより、標準的なFaissパイプラインは実行不可能となる。我々はこのボトルネックを、Faissのインデックス作成と検索のための分散パイプラインと、kNN分布のスパースかつバッチ単位のロードによって解決する。モデル規模を横断して、メモリにより多くのパラメータを割り当てる方が、ベースモデルのみをスケールするよりも優れたパラメータ-性能トレードオフをもたらすことが分かった。17のベンチマークにおいて、69億の汎用メモリをPythia-410Mと組み合わせることで、その平均スコアは29.86から37.34に上昇し、総パラメータ数が39%少ないにもかかわらず、Pythia-12B（37.24）を上回る。0.6Bから14BのQwen3 Baseモデルに対しては、17億のドメインメモリが、あらゆるスケールで3つのドメインにわたる平均スコアを9ポイント以上向上させる。全体として、我々の結果は、事前学習済みメモリを独立してスケールすることが、言語モデルの性能向上に対してよりパラメータ効率的な経路を提供することを示している。

English

Decoder-only language models entangle long-term memory and reasoning in a single parameter set, making it difficult to scale memory capacity independently. Memory Decoder introduces a parametric long-term memory module but only studies it at a relatively small scale. In this work, we present Memory Decoder at Scale, scaling memory models up to 6.9B parameters and pretraining them on 300B tokens. At this data scale, the combined cost of indexing and search makes a standard Faiss pipeline infeasible. We address this bottleneck with a distributed pipeline for Faiss indexing and retrieval, together with sparse, batch-wise loading of kNN distributions. Across model scales, we find that allocating more parameters to memory yields a better parameter-performance tradeoff than scaling the base model alone. On 17 benchmarks, pairing a 6.9B general memory with Pythia-410M raises its average score from 29.86 to 37.34, surpassing Pythia-12B (37.24) with 39% fewer total parameters. For Qwen3 Base models ranging from 0.6B to 14B, 1.7B domain memories improve the average score across the three domains by more than 9 points at every scale. Overall, our results demonstrate that independently scaling pretrained memory offers a more parameter efficient path to improving language model performance.