MemOS : Un système d'exploitation mémoire pour les systèmes d'intelligence artificielle

MemOS: A Memory OS for AI System

July 4, 2025

Auteurs: Zhiyu Li, Shichao Song, Chenyang Xi, Hanyu Wang, Chen Tang, Simin Niu, Ding Chen, Jiawei Yang, Chunyu Li, Qingchen Yu, Jihao Zhao, Yezhaohui Wang, Peng Liu, Zehao Lin, Pengyuan Wang, Jiahao Huo, Tianyi Chen, Kai Chen, Kehang Li, Zhen Tao, Junpeng Ren, Huayi Lai, Hao Wu, Bo Tang, Zhenren Wang, Zhaoxin Fan, Ningyu Zhang, Linfeng Zhang, Junchi Yan, Mingchuan Yang, Tong Xu, Wei Xu, Huajun Chen, Haofeng Wang, Hongkang Yang, Wentao Zhang, Zhi-Qin John Xu, Siheng Chen, Feiyu Xiong

cs.AI

Résumé

Les modèles de langage de grande taille (LLMs) sont devenus une infrastructure essentielle pour l'intelligence artificielle générale (AGI), mais leur manque de systèmes de gestion de mémoire bien définis entrave le développement du raisonnement à long contexte, de la personnalisation continue et de la cohérence des connaissances. Les modèles existants reposent principalement sur des paramètres statiques et des états contextuels de courte durée, limitant leur capacité à suivre les préférences des utilisateurs ou à mettre à jour les connaissances sur de longues périodes. Bien que la génération augmentée par récupération (RAG) introduise des connaissances externes sous forme de texte brut, elle reste une solution sans état, sans contrôle du cycle de vie ni intégration avec des représentations persistantes. Des travaux récents ont modélisé les coûts d'entraînement et d'inférence des LLMs sous l'angle de la hiérarchie mémoire, montrant que l'introduction d'une couche mémoire explicite entre la mémoire des paramètres et la récupération externe peut réduire considérablement ces coûts en externalisant des connaissances spécifiques. Au-delà de l'efficacité computationnelle, les LLMs sont confrontés à des défis plus larges liés à la distribution de l'information dans le temps et le contexte, nécessitant des systèmes capables de gérer des connaissances hétérogènes couvrant différentes échelles temporelles et sources. Pour relever ce défi, nous proposons MemOS, un système d'exploitation de la mémoire qui traite la mémoire comme une ressource système gérable. Il unifie la représentation, la planification et l'évolution des mémoires en texte brut, basées sur l'activation et au niveau des paramètres, permettant un stockage et une récupération économiques. En tant qu'unité de base, un MemCube encapsule à la fois le contenu de la mémoire et des métadonnées telles que la provenance et le versionnage. Les MemCubes peuvent être composés, migrés et fusionnés au fil du temps, permettant des transitions flexibles entre les types de mémoire et reliant la récupération à l'apprentissage basé sur les paramètres. MemOS établit un cadre système centré sur la mémoire qui apporte contrôlabilité, plasticité et évolutivité aux LLMs, posant les bases de l'apprentissage continu et de la modélisation personnalisée.

English

Large Language Models (LLMs) have become an essential infrastructure for Artificial General Intelligence (AGI), yet their lack of well-defined memory management systems hinders the development of long-context reasoning, continual personalization, and knowledge consistency.Existing models mainly rely on static parameters and short-lived contextual states, limiting their ability to track user preferences or update knowledge over extended periods.While Retrieval-Augmented Generation (RAG) introduces external knowledge in plain text, it remains a stateless workaround without lifecycle control or integration with persistent representations.Recent work has modeled the training and inference cost of LLMs from a memory hierarchy perspective, showing that introducing an explicit memory layer between parameter memory and external retrieval can substantially reduce these costs by externalizing specific knowledge. Beyond computational efficiency, LLMs face broader challenges arising from how information is distributed over time and context, requiring systems capable of managing heterogeneous knowledge spanning different temporal scales and sources. To address this challenge, we propose MemOS, a memory operating system that treats memory as a manageable system resource. It unifies the representation, scheduling, and evolution of plaintext, activation-based, and parameter-level memories, enabling cost-efficient storage and retrieval. As the basic unit, a MemCube encapsulates both memory content and metadata such as provenance and versioning. MemCubes can be composed, migrated, and fused over time, enabling flexible transitions between memory types and bridging retrieval with parameter-based learning. MemOS establishes a memory-centric system framework that brings controllability, plasticity, and evolvability to LLMs, laying the foundation for continual learning and personalized modeling.