MemOS: Ein Speicher-Betriebssystem für KI-Systeme

MemOS: A Memory OS for AI System

July 4, 2025

Autoren: Zhiyu Li, Shichao Song, Chenyang Xi, Hanyu Wang, Chen Tang, Simin Niu, Ding Chen, Jiawei Yang, Chunyu Li, Qingchen Yu, Jihao Zhao, Yezhaohui Wang, Peng Liu, Zehao Lin, Pengyuan Wang, Jiahao Huo, Tianyi Chen, Kai Chen, Kehang Li, Zhen Tao, Junpeng Ren, Huayi Lai, Hao Wu, Bo Tang, Zhenren Wang, Zhaoxin Fan, Ningyu Zhang, Linfeng Zhang, Junchi Yan, Mingchuan Yang, Tong Xu, Wei Xu, Huajun Chen, Haofeng Wang, Hongkang Yang, Wentao Zhang, Zhi-Qin John Xu, Siheng Chen, Feiyu Xiong

cs.AI

Zusammenfassung

Große Sprachmodelle (LLMs) sind zu einer wesentlichen Infrastruktur für Künstliche Allgemeine Intelligenz (AGI) geworden, doch das Fehlen klar definierter Speicherverwaltungssysteme behindert die Entwicklung von Langzeitkontext-Schlussfolgerungen, kontinuierlicher Personalisierung und Wissenskonsistenz. Bestehende Modelle stützen sich hauptsächlich auf statische Parameter und kurzlebige Kontextzustände, was ihre Fähigkeit einschränkt, Benutzerpräferenzen zu verfolgen oder Wissen über längere Zeiträume zu aktualisieren. Während Retrieval-Augmented Generation (RAG) externes Wissen in Klartext einführt, bleibt es ein zustandsloser Workaround ohne Lebenszykluskontrolle oder Integration mit persistenten Repräsentationen. Jüngste Arbeiten haben die Trainings- und Inferenzkosten von LLMs aus der Perspektive einer Speicherhierarchie modelliert und gezeigt, dass die Einführung einer expliziten Speicherschicht zwischen Parametergedächtnis und externem Retrieval diese Kosten erheblich reduzieren kann, indem spezifisches Wissen externalisiert wird. Über die rechnerische Effizienz hinaus stehen LLMs vor breiteren Herausforderungen, die sich aus der Verteilung von Informationen über Zeit und Kontext ergeben, was Systeme erfordert, die heterogenes Wissen über verschiedene Zeitskalen und Quellen hinweg verwalten können. Um diese Herausforderung zu bewältigen, schlagen wir MemOS vor, ein Speicherbetriebssystem, das Speicher als eine verwaltbare Systemressource behandelt. Es vereinheitlicht die Repräsentation, Planung und Entwicklung von Klartext-, aktivierungsbasierten und parameterebasierten Speichern und ermöglicht so kosteneffiziente Speicherung und Abruf. Als Basiseinheit kapselt ein MemCube sowohl Speicherinhalte als auch Metadaten wie Herkunft und Versionierung. MemCubes können im Laufe der Zeit zusammengesetzt, migriert und fusioniert werden, was flexible Übergänge zwischen Speichertypen ermöglicht und Retrieval mit parameterbasiertem Lernen verbindet. MemOS etabliert ein speicherzentriertes Systemframework, das Kontrollierbarkeit, Plastizität und Entwicklungsfähigkeit in LLMs bringt und die Grundlage für kontinuierliches Lernen und personalisierte Modellierung legt.

English

Large Language Models (LLMs) have become an essential infrastructure for Artificial General Intelligence (AGI), yet their lack of well-defined memory management systems hinders the development of long-context reasoning, continual personalization, and knowledge consistency.Existing models mainly rely on static parameters and short-lived contextual states, limiting their ability to track user preferences or update knowledge over extended periods.While Retrieval-Augmented Generation (RAG) introduces external knowledge in plain text, it remains a stateless workaround without lifecycle control or integration with persistent representations.Recent work has modeled the training and inference cost of LLMs from a memory hierarchy perspective, showing that introducing an explicit memory layer between parameter memory and external retrieval can substantially reduce these costs by externalizing specific knowledge. Beyond computational efficiency, LLMs face broader challenges arising from how information is distributed over time and context, requiring systems capable of managing heterogeneous knowledge spanning different temporal scales and sources. To address this challenge, we propose MemOS, a memory operating system that treats memory as a manageable system resource. It unifies the representation, scheduling, and evolution of plaintext, activation-based, and parameter-level memories, enabling cost-efficient storage and retrieval. As the basic unit, a MemCube encapsulates both memory content and metadata such as provenance and versioning. MemCubes can be composed, migrated, and fused over time, enabling flexible transitions between memory types and bridging retrieval with parameter-based learning. MemOS establishes a memory-centric system framework that brings controllability, plasticity, and evolvability to LLMs, laying the foundation for continual learning and personalized modeling.