RoboMemory : Un cadre agentique multi-mémoire inspiré du cerveau pour l'apprentissage continu dans les systèmes physiques incarnés
RoboMemory: A Brain-inspired Multi-memory Agentic Framework for Lifelong Learning in Physical Embodied Systems
August 2, 2025
papers.authors: Mingcong Lei, Honghao Cai, Zezhou Cui, Liangchen Tan, Junkun Hong, Gehan Hu, Shuangyu Zhu, Yimou Wu, Shaohan Jiang, Ge Wang, Zhen Li, Shuguang Cui, Yiming Zhao, Yatong Han
cs.AI
papers.abstract
Nous présentons RoboMemory, un cadre multi-mémoire inspiré du cerveau pour l'apprentissage continu dans les systèmes physiques incarnés, abordant des défis critiques des environnements réels : l'apprentissage continu, la latence des mémoires multi-modules, la capture des corrélations de tâches et l'atténuation des boucles infinies dans la planification en boucle fermée. Fondé sur les neurosciences cognitives, il intègre quatre modules centraux : le Prétraitement de l'Information (similaire au thalamus), le Système de Mémoire Incarnée Continue (similaire à l'hippocampe), le Module de Planification en Boucle Fermée (similaire au lobe préfrontal) et l'Exécuteur de Bas Niveau (similaire au cervelet) pour permettre une planification à long terme et un apprentissage cumulatif. Le Système de Mémoire Incarnée Continue, central au cadre, atténue les problèmes de vitesse d'inférence dans les cadres de mémoire complexes via des mises à jour/récupérations parallélisées à travers les sous-modules Spatial, Temporel, Épisodique et Sémantique. Il intègre un Graphe de Connaissances (KG) dynamique et une conception architecturale cohérente pour améliorer la consistance et l'évolutivité de la mémoire. Les évaluations sur EmbodiedBench montrent que RoboMemory surpasse la base de référence open-source (Qwen2.5-VL-72B-Ins) de 25 % en taux de réussite moyen et dépasse l'état de l'art (SOTA) propriétaire (Claude3.5-Sonnet) de 5 %, établissant un nouveau SOTA. Les études d'ablation valident les composants clés (critique, mémoire spatiale, mémoire à long terme), tandis que le déploiement en conditions réelles confirme sa capacité d'apprentissage continu avec des taux de réussite significativement améliorés sur des tâches répétées. RoboMemory atténue les défis de haute latence avec évolutivité, servant de référence fondamentale pour l'intégration de systèmes de mémoire multi-modale dans les robots physiques.
English
We present RoboMemory, a brain-inspired multi-memory framework for lifelong
learning in physical embodied systems, addressing critical challenges in
real-world environments: continuous learning, multi-module memory latency, task
correlation capture, and infinite-loop mitigation in closed-loop planning.
Grounded in cognitive neuroscience, it integrates four core modules: the
Information Preprocessor (thalamus-like), the Lifelong Embodied Memory System
(hippocampus-like), the Closed-Loop Planning Module (prefrontal lobe-like), and
the Low-Level Executer (cerebellum-like) to enable long-term planning and
cumulative learning. The Lifelong Embodied Memory System, central to the
framework, alleviates inference speed issues in complex memory frameworks via
parallelized updates/retrieval across Spatial, Temporal, Episodic, and Semantic
submodules. It incorporates a dynamic Knowledge Graph (KG) and consistent
architectural design to enhance memory consistency and scalability. Evaluations
on EmbodiedBench show RoboMemory outperforms the open-source baseline
(Qwen2.5-VL-72B-Ins) by 25% in average success rate and surpasses the
closed-source State-of-the-Art (SOTA) (Claude3.5-Sonnet) by 5%, establishing
new SOTA. Ablation studies validate key components (critic, spatial memory,
long-term memory), while real-world deployment confirms its lifelong learning
capability with significantly improved success rates across repeated tasks.
RoboMemory alleviates high latency challenges with scalability, serving as a
foundational reference for integrating multi-modal memory systems in physical
robots.