RoboMemory: Un Framework Agente a Multi-Memoria Ispirato al Cervello per l'Apprendimento Continuo nei Sistemi Fisici Embodied

RoboMemory: A Brain-inspired Multi-memory Agentic Framework for Lifelong Learning in Physical Embodied Systems

August 2, 2025

Autori: Mingcong Lei, Honghao Cai, Zezhou Cui, Liangchen Tan, Junkun Hong, Gehan Hu, Shuangyu Zhu, Yimou Wu, Shaohan Jiang, Ge Wang, Zhen Li, Shuguang Cui, Yiming Zhao, Yatong Han

cs.AI

Abstract

Presentiamo RoboMemory, un framework multi-memoria ispirato al cervello per l'apprendimento continuo in sistemi fisici incarnati, affrontando sfide critiche negli ambienti del mondo reale: apprendimento continuo, latenza della memoria multi-modulo, cattura delle correlazioni tra compiti e mitigazione dei loop infiniti nella pianificazione a ciclo chiuso. Basato sulle neuroscienze cognitive, integra quattro moduli principali: il Preprocessore delle Informazioni (simile al talamo), il Sistema di Memoria Incarnata a Lungo Termine (simile all'ippocampo), il Modulo di Pianificazione a Ciclo Chiuso (simile alla corteccia prefrontale) e l'Esecutore di Basso Livello (simile al cervelletto) per abilitare la pianificazione a lungo termine e l'apprendimento cumulativo. Il Sistema di Memoria Incarnata a Lungo Termine, centrale nel framework, allevia i problemi di velocità di inferenza nei framework di memoria complessi tramite aggiornamenti/recuperi paralleli tra i sottomoduli Spaziale, Temporale, Episodico e Semantico. Incorpora una Knowledge Graph (KG) dinamica e un design architettonico coerente per migliorare la consistenza e la scalabilità della memoria. Le valutazioni su EmbodiedBench mostrano che RoboMemory supera la baseline open-source (Qwen2.5-VL-72B-Ins) del 25% nella percentuale media di successo e supera lo State-of-the-Art (SOTA) closed-source (Claude3.5-Sonnet) del 5%, stabilendo un nuovo SOTA. Gli studi di ablazione convalidano i componenti chiave (critico, memoria spaziale, memoria a lungo termine), mentre il dispiegamento nel mondo reale conferma la sua capacità di apprendimento continuo con miglioramenti significativi nelle percentuali di successo su compiti ripetuti. RoboMemory allevia le sfide dell'alta latenza con scalabilità, servendo come riferimento fondamentale per l'integrazione di sistemi di memoria multi-modale nei robot fisici.

English

We present RoboMemory, a brain-inspired multi-memory framework for lifelong learning in physical embodied systems, addressing critical challenges in real-world environments: continuous learning, multi-module memory latency, task correlation capture, and infinite-loop mitigation in closed-loop planning. Grounded in cognitive neuroscience, it integrates four core modules: the Information Preprocessor (thalamus-like), the Lifelong Embodied Memory System (hippocampus-like), the Closed-Loop Planning Module (prefrontal lobe-like), and the Low-Level Executer (cerebellum-like) to enable long-term planning and cumulative learning. The Lifelong Embodied Memory System, central to the framework, alleviates inference speed issues in complex memory frameworks via parallelized updates/retrieval across Spatial, Temporal, Episodic, and Semantic submodules. It incorporates a dynamic Knowledge Graph (KG) and consistent architectural design to enhance memory consistency and scalability. Evaluations on EmbodiedBench show RoboMemory outperforms the open-source baseline (Qwen2.5-VL-72B-Ins) by 25% in average success rate and surpasses the closed-source State-of-the-Art (SOTA) (Claude3.5-Sonnet) by 5%, establishing new SOTA. Ablation studies validate key components (critic, spatial memory, long-term memory), while real-world deployment confirms its lifelong learning capability with significantly improved success rates across repeated tasks. RoboMemory alleviates high latency challenges with scalability, serving as a foundational reference for integrating multi-modal memory systems in physical robots.