RoboMemory: Een op de hersenen geïnspireerd multi-geheugen agentisch raamwerk voor levenslang leren in fysieke, belichaamde systemen

RoboMemory: A Brain-inspired Multi-memory Agentic Framework for Lifelong Learning in Physical Embodied Systems

August 2, 2025

Auteurs: Mingcong Lei, Honghao Cai, Zezhou Cui, Liangchen Tan, Junkun Hong, Gehan Hu, Shuangyu Zhu, Yimou Wu, Shaohan Jiang, Ge Wang, Zhen Li, Shuguang Cui, Yiming Zhao, Yatong Han

cs.AI

Samenvatting

We presenteren RoboMemory, een brein-geïnspireerd multi-geheugen framework voor levenslang leren in fysieke, belichaamde systemen, dat kritieke uitdagingen in real-world omgevingen aanpakt: continu leren, latentie van multi-module geheugen, het vastleggen van taakcorrelaties, en het mitigeren van oneindige lussen in gesloten-lus planning. Geworteld in cognitieve neurowetenschappen, integreert het vier kernmodules: de Informatie Preprocessor (thalamus-achtig), het Levenslang Belichaamd Geheugen Systeem (hippocampus-achtig), de Gesloten-Lus Planning Module (prefrontale kwab-achtig), en de Laag-Niveau Uitvoerder (cerebellum-achtig) om langetermijnplanning en cumulatief leren mogelijk te maken. Het Levenslang Belichaamd Geheugen Systeem, centraal in het framework, verlicht snelheidsproblemen bij inferentie in complexe geheugen frameworks via parallelle updates/retrieval over Ruimtelijke, Temporele, Episodische en Semantische submodules. Het bevat een dynamische Kennisgrafiek (KG) en een consistente architectonische ontwerp om geheugenconsistentie en schaalbaarheid te verbeteren. Evaluaties op EmbodiedBench tonen aan dat RoboMemory de open-source baseline (Qwen2.5-VL-72B-Ins) met 25% overtreft in gemiddeld succespercentage en de closed-source State-of-the-Art (SOTA) (Claude3.5-Sonnet) met 5% overstijgt, waarmee het een nieuwe SOTA vestigt. Ablatiestudies valideren sleutelcomponenten (critic, ruimtelijk geheugen, langetermijngeheugen), terwijl implementatie in de echte wereld het levenslang leervermogen bevestigt met aanzienlijk verbeterde succespercentages bij herhaalde taken. RoboMemory verlicht uitdagingen met hoge latentie door schaalbaarheid, en dient als een fundamentele referentie voor de integratie van multi-modale geheugensystemen in fysieke robots.

English

We present RoboMemory, a brain-inspired multi-memory framework for lifelong learning in physical embodied systems, addressing critical challenges in real-world environments: continuous learning, multi-module memory latency, task correlation capture, and infinite-loop mitigation in closed-loop planning. Grounded in cognitive neuroscience, it integrates four core modules: the Information Preprocessor (thalamus-like), the Lifelong Embodied Memory System (hippocampus-like), the Closed-Loop Planning Module (prefrontal lobe-like), and the Low-Level Executer (cerebellum-like) to enable long-term planning and cumulative learning. The Lifelong Embodied Memory System, central to the framework, alleviates inference speed issues in complex memory frameworks via parallelized updates/retrieval across Spatial, Temporal, Episodic, and Semantic submodules. It incorporates a dynamic Knowledge Graph (KG) and consistent architectural design to enhance memory consistency and scalability. Evaluations on EmbodiedBench show RoboMemory outperforms the open-source baseline (Qwen2.5-VL-72B-Ins) by 25% in average success rate and surpasses the closed-source State-of-the-Art (SOTA) (Claude3.5-Sonnet) by 5%, establishing new SOTA. Ablation studies validate key components (critic, spatial memory, long-term memory), while real-world deployment confirms its lifelong learning capability with significantly improved success rates across repeated tasks. RoboMemory alleviates high latency challenges with scalability, serving as a foundational reference for integrating multi-modal memory systems in physical robots.