大規模言語モデルのためのメモリ

要旨

メモリは大規模言語モデル（LLM）において基礎的なアーキテクチャの次元へと進化し、暗黙的な計算の副産物から、明示的で制御可能な一連のメカニズムへと移行してきた。最近の進歩は、一過性の注意、リカレント状態ダイナミクス、パラメータ効率的適応、スケーラブルなルックアップストレージなど多様な戦略を導入しているが、この急速な進化により研究分野は高度に断片化されている。本サーベイでは、LLMにおけるメモリの体系的かつアーキテクチャ中心の分類法を提示する。我々のフレームワークは、メモリを三つの直交軸に沿って特徴づける：表現（暗黙的対明示的）、更新ダイナミクス（オフライン対オンライン）、および持続性（短期対長期）。さらに、メモリへの書き込み、ルーティング、状態遷移、統合を決定する詳細なメカニズムを形式化する。この統一的な視点は、計算結合型メモリと独立してアドレス指定可能なメモリとの間の概念的な境界を解明し、異なるアーキテクチャパラダイムを効果的に橋渡しする。さらに、ハイブリッドメモリアーキテクチャ、システムレベルの効率トレードオフ、多次元評価方法論を批判的に分析する。これらの散在する進歩を一貫したフレームワークに統合することにより、本サーベイはメモリ中心のLLM設計の軌跡を明らかにし、スケーラブルで適応的な言語モデリングにおける将来の革新のための原理的な基盤を提供する。

English

Memory has evolved into a foundational architectural dimension in large language models (LLMs), shifting from an implicit byproduct of computation to a spectrum of explicit, controllable mechanisms. While recent advances introduce diverse strategies---spanning transient attention, recurrent state dynamics, parameter-efficient adaptations, and scalable lookup storage---this rapid evolution has led to a highly fragmented research landscape. In this survey, we present a systematic, architecture-centric taxonomy of memory in LLMs. Our framework characterizes memory along three orthogonal axes: representation (implicit versus explicit), update dynamics (offline versus online), and persistence (short-term versus long-term). We further formalize the granular mechanisms dictating memory writing, routing, state transitions, and consolidation. This unified perspective elucidates the conceptual boundaries between computation-coupled and independently addressable memory, effectively bridging disparate architectural paradigms. Additionally, we critically analyze hybrid memory architectures, system-level efficiency trade-offs, and multi-dimensional evaluation methodologies. By consolidating these scattered advancements into a cohesive framework, this survey charts the trajectory of memory-centric LLM design and provides a principled foundation for future innovations in scalable and adaptive language modeling.