ロボメモリ：物理的エンボディドシステムにおける生涯学習のための脳に着想を得たマルチメモリエージェントフレームワーク

RoboMemory: A Brain-inspired Multi-memory Agentic Framework for Lifelong Learning in Physical Embodied Systems

August 2, 2025

著者: Mingcong Lei, Honghao Cai, Zezhou Cui, Liangchen Tan, Junkun Hong, Gehan Hu, Shuangyu Zhu, Yimou Wu, Shaohan Jiang, Ge Wang, Zhen Li, Shuguang Cui, Yiming Zhao, Yatong Han

cs.AI

要旨

本論文では、物理的実体システムにおける生涯学習を実現するための脳に着想を得たマルチメモリフレームワーク「RoboMemory」を提案する。このフレームワークは、現実世界の環境における重要な課題、すなわち継続的学習、マルチモジュールメモリの遅延、タスク相関の捕捉、および閉ループ計画における無限ループの緩和に対処する。認知神経科学に基づき、情報前処理モジュール（視床類似）、生涯実体メモリシステム（海馬類似）、閉ループ計画モジュール（前頭葉類似）、および低レベル実行モジュール（小脳類似）の4つのコアモジュールを統合し、長期的な計画と累積的学習を可能にする。フレームワークの中核をなす生涯実体メモリシステムは、空間的、時間的、エピソード的、意味論的サブモジュール間での並列化された更新/検索を通じて、複雑なメモリフレームワークにおける推論速度の問題を緩和する。動的ナレッジグラフ（KG）と一貫したアーキテクチャ設計を組み込むことで、メモリの一貫性と拡張性を向上させる。EmbodiedBenchでの評価では、RoboMemoryがオープンソースのベースライン（Qwen2.5-VL-72B-Ins）を平均成功率で25%上回り、クローズドソースの最先端（SOTA）（Claude3.5-Sonnet）を5%上回り、新たなSOTAを確立した。アブレーションスタディでは、主要コンポーネント（批評家、空間メモリ、長期メモリ）の有効性が検証され、実世界での展開では、繰り返しタスクにおける成功率の大幅な向上を通じて、その生涯学習能力が確認された。RoboMemoryは、スケーラビリティを備えた高遅延課題の緩和を実現し、物理ロボットにおけるマルチモーダルメモリシステム統合の基礎的参照としての役割を果たす。

English

We present RoboMemory, a brain-inspired multi-memory framework for lifelong learning in physical embodied systems, addressing critical challenges in real-world environments: continuous learning, multi-module memory latency, task correlation capture, and infinite-loop mitigation in closed-loop planning. Grounded in cognitive neuroscience, it integrates four core modules: the Information Preprocessor (thalamus-like), the Lifelong Embodied Memory System (hippocampus-like), the Closed-Loop Planning Module (prefrontal lobe-like), and the Low-Level Executer (cerebellum-like) to enable long-term planning and cumulative learning. The Lifelong Embodied Memory System, central to the framework, alleviates inference speed issues in complex memory frameworks via parallelized updates/retrieval across Spatial, Temporal, Episodic, and Semantic submodules. It incorporates a dynamic Knowledge Graph (KG) and consistent architectural design to enhance memory consistency and scalability. Evaluations on EmbodiedBench show RoboMemory outperforms the open-source baseline (Qwen2.5-VL-72B-Ins) by 25% in average success rate and surpasses the closed-source State-of-the-Art (SOTA) (Claude3.5-Sonnet) by 5%, establishing new SOTA. Ablation studies validate key components (critic, spatial memory, long-term memory), while real-world deployment confirms its lifelong learning capability with significantly improved success rates across repeated tasks. RoboMemory alleviates high latency challenges with scalability, serving as a foundational reference for integrating multi-modal memory systems in physical robots.