Metis: 메모리 파운데이션 모델

초록

최근 AI 에이전트의 발전은 기반 모델에 네이티브 기능을 점점 더 내재화하고 있으며, 이로 인해 다중 모달 기반 모델과 대규모 추론 모델이 등장하였다. 그러나 에이전트 메모리는 여전히 주로 외부 모듈을 통해 구현되고 있어, 네이티브 메모리 기능은 거의 탐구되지 않았다. 본 논문에서는 기반 모델에 네이티브 메모리 기능을 부여하는 메모리 기반 모델을 도입함으로써 이 방향으로의 첫 걸음을 내딛는다. 우리는 네이티브 메모리를 두 가지 관점에서 정식화한다: 백본 내의 지속적이고 동적으로 진화하는 메모리 상태, 그리고 모델 연산을 통해 정보를 자율적으로 저장하고 활용하는 네이티브 메모리 절차. 우리는 네이티브 메모리가 구조, 엔드투엔드 최적화, 효율성 측면에서 장점을 제공함을 보여준다. 이 정식화를 바탕으로 우리는 메모리 기반 모델의 첫 프로토타입인 Metis를 제안한다. Metis는 기반 모델에 네이티브 메모리 상태를 장착하는 새로운 아키텍처를 도입하여, 과거 정보를 모델에 압축하고 메모리 어텐션을 통해 접근할 수 있게 한다. 우리는 대규모 메모리 특화 학습 데이터를 구축하고 여러 최적화 목표를 도입하여 중간 학습을 통해 이러한 네이티브 메모리 절차를 획득한다. Metis의 온라인 메모리 유지보수는 그래디언트 프리이며, 메모리 업데이트는 순전파만 필요로 한다. 추론 시 학습된 모든 모델 가중치는 동결된 상태를 유지하고, 네이티브 메모리 상태는 표준 순전파 연산을 통해 자율적으로 변환된다. 광범위한 실험을 통해 우리는 Metis가 네이티브 메모리 기능을 보유함을 입증하고, 그 강점, 한계, 동작에 대한 상세한 분석을 제공한다. 메모리 기반 모델에 대한 향후 연구를 촉진하기 위해 프로젝트와 모델 체크포인트를 공개한다.

English

Recent advances in AI agents have increasingly internalized native capabilities into their underlying foundation models, giving rise to multimodal foundation models and large reasoning models. However, agent memory is still primarily implemented through external modules, leaving the native memory capability largely unexplored. In this paper, we take a first step toward this direction by introducing memory foundation models, which empower foundation models with native memory capabilities. We formalize native memory from two perspectives: a persistent and dynamically evolving memory state within the backbone, and native memory procedures that autonomously store and utilize information through model computation. We show that native memory offers advantages in architecture, end-to-end optimization, and efficiency. Based on this formulation, we propose Metis, the first prototype of memory foundation models. Metis introduces a new architecture that equips a foundation model with a native memory state, allowing historical information to be compressed into the model and accessed through memory attention. We construct large-scale memory-specific training data and introduce multiple optimization objectives to acquire these native memory procedures through mid-training. The online memory maintenance of Metis is gradient-free, and the memory update requires only a forward pass. At inference time, all learned model weights remain frozen, while the native memory states are autonomously transformed through standard forward computation. Through extensive experiments, we show that Metis exhibits native memory capabilities and further provide a detailed analysis of its strengths, limitations, and behaviors. To facilitate future research on memory foundation models, we release our project and model checkpoints.