Metis：メモリ基盤モデル

要旨

近年のAIエージェントの進展により、その基盤となる基盤モデルへのネイティブな能力の内在化が進み、マルチモーダル基盤モデルや大規模推論モデルが生み出されている。しかしながら、エージェントメモリは依然として主に外部モジュールを通じて実装されており、ネイティブな記憶能力はほとんど未探求のままである。本稿では、基盤モデルにネイティブな記憶能力を付与するメモリ基盤モデルを導入することで、この方向性に向けた第一歩を踏み出す。我々は、ネイティブメモリを二つの観点から形式化する：バックボーン内部における持続的かつ動的に進化するメモリ状態、およびモデル計算を通じて情報を自律的に保存・活用するネイティブな記憶手続きである。ネイティブメモリは、アーキテクチャ、エンドツーエンド最適化、効率性の面で利点をもたらすことを示す。この定式化に基づき、メモリ基盤モデルの最初のプロトタイプであるMetisを提案する。Metisは、基盤モデルにネイティブなメモリ状態を組み込む新しいアーキテクチャを導入し、履歴情報をモデル内に圧縮してメモリ注意機構を通じてアクセスすることを可能にする。我々は大規模なメモリ特化訓練データを構築し、中間訓練を通じてこれらのネイティブな記憶手続きを獲得するための複数の最適化目的を導入する。Metisのオンラインメモリ保守は勾配フリーであり、メモリ更新には順伝播計算のみが必要である。推論時には、学習済みのモデル重みはすべて凍結されたまま、ネイティブなメモリ状態が標準の順伝播計算を通じて自律的に変換される。大規模な実験を通じて、Metisがネイティブな記憶能力を示すことを実証し、その強み、限界、挙動について詳細な分析を提供する。メモリ基盤モデルに関する今後の研究を促進するため、我々のプロジェクトとモデルチェックポイントを公開する。

English

Recent advances in AI agents have increasingly internalized native capabilities into their underlying foundation models, giving rise to multimodal foundation models and large reasoning models. However, agent memory is still primarily implemented through external modules, leaving the native memory capability largely unexplored. In this paper, we take a first step toward this direction by introducing memory foundation models, which empower foundation models with native memory capabilities. We formalize native memory from two perspectives: a persistent and dynamically evolving memory state within the backbone, and native memory procedures that autonomously store and utilize information through model computation. We show that native memory offers advantages in architecture, end-to-end optimization, and efficiency. Based on this formulation, we propose Metis, the first prototype of memory foundation models. Metis introduces a new architecture that equips a foundation model with a native memory state, allowing historical information to be compressed into the model and accessed through memory attention. We construct large-scale memory-specific training data and introduce multiple optimization objectives to acquire these native memory procedures through mid-training. The online memory maintenance of Metis is gradient-free, and the memory update requires only a forward pass. At inference time, all learned model weights remain frozen, while the native memory states are autonomously transformed through standard forward computation. Through extensive experiments, we show that Metis exhibits native memory capabilities and further provide a detailed analysis of its strengths, limitations, and behaviors. To facilitate future research on memory foundation models, we release our project and model checkpoints.