MemOS: Операционная система памяти для ИИ-систем

MemOS: A Memory OS for AI System

July 4, 2025

Авторы: Zhiyu Li, Shichao Song, Chenyang Xi, Hanyu Wang, Chen Tang, Simin Niu, Ding Chen, Jiawei Yang, Chunyu Li, Qingchen Yu, Jihao Zhao, Yezhaohui Wang, Peng Liu, Zehao Lin, Pengyuan Wang, Jiahao Huo, Tianyi Chen, Kai Chen, Kehang Li, Zhen Tao, Junpeng Ren, Huayi Lai, Hao Wu, Bo Tang, Zhenren Wang, Zhaoxin Fan, Ningyu Zhang, Linfeng Zhang, Junchi Yan, Mingchuan Yang, Tong Xu, Wei Xu, Huajun Chen, Haofeng Wang, Hongkang Yang, Wentao Zhang, Zhi-Qin John Xu, Siheng Chen, Feiyu Xiong

cs.AI

Аннотация

Крупные языковые модели (LLM) стали важной инфраструктурой для искусственного общего интеллекта (AGI), однако отсутствие у них четко определенных систем управления памятью препятствует развитию долгосрочного контекстного рассуждения, непрерывной персонализации и согласованности знаний. Существующие модели в основном опираются на статические параметры и кратковременные контекстные состояния, что ограничивает их способность отслеживать предпочтения пользователей или обновлять знания в течение длительных периодов. Хотя подход Retrieval-Augmented Generation (RAG) вводит внешние знания в виде простого текста, он остается бессостоятельным решением без контроля жизненного цикла или интеграции с устойчивыми представлениями. Недавние исследования смоделировали затраты на обучение и вывод LLM с точки зрения иерархии памяти, показав, что введение явного слоя памяти между параметрической памятью и внешним поиском может существенно снизить эти затраты за счет экстернализации конкретных знаний. Помимо вычислительной эффективности, LLM сталкиваются с более широкими проблемами, связанными с распределением информации во времени и контексте, что требует систем, способных управлять гетерогенными знаниями, охватывающими различные временные масштабы и источники. Для решения этой задачи мы предлагаем MemOS, операционную систему памяти, которая рассматривает память как управляемый системный ресурс. Она объединяет представление, планирование и эволюцию текстовой, активационной и параметрической памяти, обеспечивая экономичное хранение и извлечение. В качестве базовой единицы MemCube инкапсулирует как содержимое памяти, так и метаданные, такие как происхождение и версионность. MemCube могут комбинироваться, мигрировать и объединяться со временем, обеспечивая гибкие переходы между типами памяти и связывая поиск с параметрическим обучением. MemOS устанавливает системную архитектуру, ориентированную на память, которая привносит управляемость, пластичность и эволюционность в LLM, закладывая основу для непрерывного обучения и персонализированного моделирования.

English

Large Language Models (LLMs) have become an essential infrastructure for Artificial General Intelligence (AGI), yet their lack of well-defined memory management systems hinders the development of long-context reasoning, continual personalization, and knowledge consistency.Existing models mainly rely on static parameters and short-lived contextual states, limiting their ability to track user preferences or update knowledge over extended periods.While Retrieval-Augmented Generation (RAG) introduces external knowledge in plain text, it remains a stateless workaround without lifecycle control or integration with persistent representations.Recent work has modeled the training and inference cost of LLMs from a memory hierarchy perspective, showing that introducing an explicit memory layer between parameter memory and external retrieval can substantially reduce these costs by externalizing specific knowledge. Beyond computational efficiency, LLMs face broader challenges arising from how information is distributed over time and context, requiring systems capable of managing heterogeneous knowledge spanning different temporal scales and sources. To address this challenge, we propose MemOS, a memory operating system that treats memory as a manageable system resource. It unifies the representation, scheduling, and evolution of plaintext, activation-based, and parameter-level memories, enabling cost-efficient storage and retrieval. As the basic unit, a MemCube encapsulates both memory content and metadata such as provenance and versioning. MemCubes can be composed, migrated, and fused over time, enabling flexible transitions between memory types and bridging retrieval with parameter-based learning. MemOS establishes a memory-centric system framework that brings controllability, plasticity, and evolvability to LLMs, laying the foundation for continual learning and personalized modeling.