MemOS: Een Geheugenbesturingssysteem voor AI-systemen

MemOS: A Memory OS for AI System

July 4, 2025

Auteurs: Zhiyu Li, Shichao Song, Chenyang Xi, Hanyu Wang, Chen Tang, Simin Niu, Ding Chen, Jiawei Yang, Chunyu Li, Qingchen Yu, Jihao Zhao, Yezhaohui Wang, Peng Liu, Zehao Lin, Pengyuan Wang, Jiahao Huo, Tianyi Chen, Kai Chen, Kehang Li, Zhen Tao, Junpeng Ren, Huayi Lai, Hao Wu, Bo Tang, Zhenren Wang, Zhaoxin Fan, Ningyu Zhang, Linfeng Zhang, Junchi Yan, Mingchuan Yang, Tong Xu, Wei Xu, Huajun Chen, Haofeng Wang, Hongkang Yang, Wentao Zhang, Zhi-Qin John Xu, Siheng Chen, Feiyu Xiong

cs.AI

Samenvatting

Grote Taalmodellen (LLMs) zijn een essentiële infrastructuur geworden voor Kunstmatige Algemene Intelligentie (AGI), maar het ontbreken van goed gedefinieerde geheugenbeheersystemen belemmert de ontwikkeling van langetermijnredenering, continue personalisatie en kennisconsistentie. Bestaande modellen vertrouwen voornamelijk op statische parameters en kortstondige contextuele toestanden, wat hun vermogen beperkt om gebruikersvoorkeuren bij te houden of kennis over langere perioden bij te werken. Hoewel Retrieval-Augmented Generation (RAG) externe kennis introduceert in platte tekst, blijft het een statische oplossing zonder levenscyclusbeheer of integratie met persistente representaties. Recent onderzoek heeft de trainings- en inferentiekosten van LLMs gemodelleerd vanuit een geheugenhiërarchieperspectief, waarbij wordt aangetoond dat de introductie van een expliciete geheugenlaag tussen parametergeheugen en externe retrieval deze kosten aanzienlijk kan verminderen door specifieke kennis te externaliseren. Naast computationele efficiëntie staan LLMs voor bredere uitdagingen die voortkomen uit hoe informatie over tijd en context wordt verdeeld, wat systemen vereist die in staat zijn om heterogene kennis te beheren die verschillende tijdschalen en bronnen omvat. Om deze uitdaging aan te pakken, stellen we MemOS voor, een geheugenbesturingssysteem dat geheugen behandelt als een beheersbare systeembron. Het verenigt de representatie, planning en evolutie van platte tekst, activatie-gebaseerde en parameter-niveau geheugens, waardoor kostenefficiënte opslag en retrieval mogelijk wordt. Als basiseenheid encapsuleert een MemCube zowel geheugeninhoud als metadata zoals herkomst en versiebeheer. MemCubes kunnen in de loop van de tijd worden samengesteld, gemigreerd en gefuseerd, waardoor flexibele overgangen tussen geheugentypes mogelijk worden en retrieval wordt verbonden met parameter-gebaseerd leren. MemOS vestigt een geheugengericht systeemkader dat beheersbaarheid, plasticiteit en evolueerbaarheid brengt naar LLMs, en legt de basis voor continue leren en gepersonaliseerde modellering.

English

Large Language Models (LLMs) have become an essential infrastructure for Artificial General Intelligence (AGI), yet their lack of well-defined memory management systems hinders the development of long-context reasoning, continual personalization, and knowledge consistency.Existing models mainly rely on static parameters and short-lived contextual states, limiting their ability to track user preferences or update knowledge over extended periods.While Retrieval-Augmented Generation (RAG) introduces external knowledge in plain text, it remains a stateless workaround without lifecycle control or integration with persistent representations.Recent work has modeled the training and inference cost of LLMs from a memory hierarchy perspective, showing that introducing an explicit memory layer between parameter memory and external retrieval can substantially reduce these costs by externalizing specific knowledge. Beyond computational efficiency, LLMs face broader challenges arising from how information is distributed over time and context, requiring systems capable of managing heterogeneous knowledge spanning different temporal scales and sources. To address this challenge, we propose MemOS, a memory operating system that treats memory as a manageable system resource. It unifies the representation, scheduling, and evolution of plaintext, activation-based, and parameter-level memories, enabling cost-efficient storage and retrieval. As the basic unit, a MemCube encapsulates both memory content and metadata such as provenance and versioning. MemCubes can be composed, migrated, and fused over time, enabling flexible transitions between memory types and bridging retrieval with parameter-based learning. MemOS establishes a memory-centric system framework that brings controllability, plasticity, and evolvability to LLMs, laying the foundation for continual learning and personalized modeling.