RoboMemory: Многоуровневая агентная структура, вдохновленная мозгом, для непрерывного обучения в физических воплощенных системах
RoboMemory: A Brain-inspired Multi-memory Agentic Framework for Lifelong Learning in Physical Embodied Systems
August 2, 2025
Авторы: Mingcong Lei, Honghao Cai, Zezhou Cui, Liangchen Tan, Junkun Hong, Gehan Hu, Shuangyu Zhu, Yimou Wu, Shaohan Jiang, Ge Wang, Zhen Li, Shuguang Cui, Yiming Zhao, Yatong Han
cs.AI
Аннотация
Мы представляем RoboMemory — вдохновленную мозгом многомодульную систему памяти для непрерывного обучения в физических воплощенных системах, решающую ключевые задачи в реальных условиях: непрерывное обучение, задержки в работе многомодульной памяти, захват корреляций между задачами и предотвращение бесконечных циклов в замкнутом планировании. Основанная на когнитивной нейронауке, система интегрирует четыре основных модуля: Предобработчик информации (таламусоподобный), Система непрерывной воплощенной памяти (гиппокампоподобная), Модуль замкнутого планирования (префронтальная доля) и Низкоуровневый исполнитель (мозжечкоподобный) для обеспечения долгосрочного планирования и накопительного обучения. Система непрерывной воплощенной памяти, являющаяся центральным элементом фреймворка, устраняет проблемы скорости вывода в сложных системах памяти за счет параллелизированных обновлений и извлечения данных в пространственных, временных, эпизодических и семантических подмодулях. Она включает динамический Граф знаний (Knowledge Graph, KG) и единообразный архитектурный дизайн для повышения согласованности и масштабируемости памяти. Оценки на EmbodiedBench показывают, что RoboMemory превосходит открытый базовый уровень (Qwen2.5-VL-72B-Ins) на 25% по средней успешности и опережает закрытый State-of-the-Art (SOTA) (Claude3.5-Sonnet) на 5%, устанавливая новый SOTA. Абляционные исследования подтверждают важность ключевых компонентов (критика, пространственной памяти, долговременной памяти), а реальное развертывание подтверждает способность к непрерывному обучению с существенным улучшением успешности при повторяющихся задачах. RoboMemory решает проблемы высокой задержки с учетом масштабируемости, служа фундаментальным ориентиром для интеграции многомодальных систем памяти в физических роботах.
English
We present RoboMemory, a brain-inspired multi-memory framework for lifelong
learning in physical embodied systems, addressing critical challenges in
real-world environments: continuous learning, multi-module memory latency, task
correlation capture, and infinite-loop mitigation in closed-loop planning.
Grounded in cognitive neuroscience, it integrates four core modules: the
Information Preprocessor (thalamus-like), the Lifelong Embodied Memory System
(hippocampus-like), the Closed-Loop Planning Module (prefrontal lobe-like), and
the Low-Level Executer (cerebellum-like) to enable long-term planning and
cumulative learning. The Lifelong Embodied Memory System, central to the
framework, alleviates inference speed issues in complex memory frameworks via
parallelized updates/retrieval across Spatial, Temporal, Episodic, and Semantic
submodules. It incorporates a dynamic Knowledge Graph (KG) and consistent
architectural design to enhance memory consistency and scalability. Evaluations
on EmbodiedBench show RoboMemory outperforms the open-source baseline
(Qwen2.5-VL-72B-Ins) by 25% in average success rate and surpasses the
closed-source State-of-the-Art (SOTA) (Claude3.5-Sonnet) by 5%, establishing
new SOTA. Ablation studies validate key components (critic, spatial memory,
long-term memory), while real-world deployment confirms its lifelong learning
capability with significantly improved success rates across repeated tasks.
RoboMemory alleviates high latency challenges with scalability, serving as a
foundational reference for integrating multi-modal memory systems in physical
robots.