MemOS: AIシステムのためのメモリOS

要旨

大規模言語モデル（LLMs）は人工汎用知能（AGI）の基盤として不可欠な存在となっているが、明確に定義されたメモリ管理システムの欠如が、長文脈推論、継続的なパーソナライゼーション、および知識の一貫性の発展を妨げている。既存のモデルは主に静的なパラメータと短命な文脈状態に依存しており、ユーザーの嗜好を追跡したり、長期間にわたって知識を更新したりする能力が制限されている。検索拡張生成（RAG）は外部知識をプレーンテキストとして導入するが、ライフサイクル制御や永続的な表現との統合がないため、ステートレスな回避策に留まっている。最近の研究では、メモリ階層の観点からLLMsの学習と推論コストをモデル化し、パラメータメモリと外部検索の間に明示的なメモリ層を導入することで、特定の知識を外部化することによりこれらのコストを大幅に削減できることを示している。計算効率を超えて、LLMsは情報が時間と文脈にわたってどのように分散されるかという広範な課題に直面しており、異なる時間スケールとソースにわたる異種の知識を管理できるシステムが必要とされている。この課題に対処するため、我々はメモリを管理可能なシステムリソースとして扱うメモリオペレーティングシステム（MemOS）を提案する。MemOSは、プレーンテキスト、アクティベーションベース、およびパラメータレベルのメモリの表現、スケジューリング、進化を統合し、コスト効率の高い保存と検索を可能にする。基本単位として、MemCubeはメモリ内容と出所やバージョン管理などのメタデータをカプセル化する。MemCubeは時間の経過とともに合成、移行、融合が可能であり、メモリタイプ間の柔軟な遷移を実現し、検索とパラメータベースの学習を橋渡しする。MemOSは、LLMsに制御性、可塑性、進化性をもたらすメモリ中心のシステムフレームワークを確立し、継続学習とパーソナライズドモデリングの基盤を築く。

English

Large Language Models (LLMs) have become an essential infrastructure for Artificial General Intelligence (AGI), yet their lack of well-defined memory management systems hinders the development of long-context reasoning, continual personalization, and knowledge consistency.Existing models mainly rely on static parameters and short-lived contextual states, limiting their ability to track user preferences or update knowledge over extended periods.While Retrieval-Augmented Generation (RAG) introduces external knowledge in plain text, it remains a stateless workaround without lifecycle control or integration with persistent representations.Recent work has modeled the training and inference cost of LLMs from a memory hierarchy perspective, showing that introducing an explicit memory layer between parameter memory and external retrieval can substantially reduce these costs by externalizing specific knowledge. Beyond computational efficiency, LLMs face broader challenges arising from how information is distributed over time and context, requiring systems capable of managing heterogeneous knowledge spanning different temporal scales and sources. To address this challenge, we propose MemOS, a memory operating system that treats memory as a manageable system resource. It unifies the representation, scheduling, and evolution of plaintext, activation-based, and parameter-level memories, enabling cost-efficient storage and retrieval. As the basic unit, a MemCube encapsulates both memory content and metadata such as provenance and versioning. MemCubes can be composed, migrated, and fused over time, enabling flexible transitions between memory types and bridging retrieval with parameter-based learning. MemOS establishes a memory-centric system framework that brings controllability, plasticity, and evolvability to LLMs, laying the foundation for continual learning and personalized modeling.

MemOS: AIシステムのためのメモリOS

MemOS: A Memory OS for AI System

要旨

Support