RoboMemory: Ein hirninspiriertes Multi-Speicher-Agenten-Framework für lebenslanges Lernen in physisch verkörperten Systemen

RoboMemory: A Brain-inspired Multi-memory Agentic Framework for Lifelong Learning in Physical Embodied Systems

August 2, 2025

papers.authors: Mingcong Lei, Honghao Cai, Zezhou Cui, Liangchen Tan, Junkun Hong, Gehan Hu, Shuangyu Zhu, Yimou Wu, Shaohan Jiang, Ge Wang, Zhen Li, Shuguang Cui, Yiming Zhao, Yatong Han

cs.AI

papers.abstract

Wir präsentieren RoboMemory, ein hirninspiriertes Multi-Speicher-Framework für lebenslanges Lernen in physisch verkörperten Systemen, das kritische Herausforderungen in realen Umgebungen adressiert: kontinuierliches Lernen, Latenzzeit in Multi-Modul-Speichern, Erfassung von Aufgabenkorrelationen und Vermeidung von Endlosschleifen in der geschlossenen Schleifenplanung. Basierend auf der kognitiven Neurowissenschaft integriert es vier Kernmodule: den Informationsvorprozessor (thalamusähnlich), das Lebenslange Verkörperte Speichersystem (hippocampusähnlich), das Modul für Geschlossene Schleifenplanung (präfrontallappenähnlich) und den Niedrigstufigen Ausführer (kleinhirnähnlich), um langfristige Planung und kumulatives Lernen zu ermöglichen. Das Lebenslange Verkörperte Speichersystem, das zentrale Element des Frameworks, löst Geschwindigkeitsprobleme bei der Inferenz in komplexen Speicherframeworks durch parallelisierte Aktualisierungen/Abrufe über räumliche, zeitliche, episodische und semantische Submodule. Es integriert ein dynamisches Wissensgraph (KG) und ein konsistentes Architekturdesign, um die Speicherkonsistenz und Skalierbarkeit zu verbessern. Bewertungen auf EmbodiedBench zeigen, dass RoboMemory die Open-Source-Baseline (Qwen2.5-VL-72B-Ins) um 25 % in der durchschnittlichen Erfolgsrate übertrifft und die Closed-Source State-of-the-Art (SOTA) (Claude3.5-Sonnet) um 5 % übertrifft, wodurch ein neuer SOTA etabliert wird. Ablationsstudien validieren Schlüsselkomponenten (Kritiker, räumlicher Speicher, Langzeitspeicher), während der Einsatz in der realen Welt seine Fähigkeit zum lebenslangen Lernen mit deutlich verbesserten Erfolgsraten über wiederholte Aufgaben bestätigt. RoboMemory mildert Herausforderungen durch hohe Latenzzeiten mit Skalierbarkeit und dient als grundlegende Referenz für die Integration von multimodalen Speichersystemen in physischen Robotern.

English

We present RoboMemory, a brain-inspired multi-memory framework for lifelong learning in physical embodied systems, addressing critical challenges in real-world environments: continuous learning, multi-module memory latency, task correlation capture, and infinite-loop mitigation in closed-loop planning. Grounded in cognitive neuroscience, it integrates four core modules: the Information Preprocessor (thalamus-like), the Lifelong Embodied Memory System (hippocampus-like), the Closed-Loop Planning Module (prefrontal lobe-like), and the Low-Level Executer (cerebellum-like) to enable long-term planning and cumulative learning. The Lifelong Embodied Memory System, central to the framework, alleviates inference speed issues in complex memory frameworks via parallelized updates/retrieval across Spatial, Temporal, Episodic, and Semantic submodules. It incorporates a dynamic Knowledge Graph (KG) and consistent architectural design to enhance memory consistency and scalability. Evaluations on EmbodiedBench show RoboMemory outperforms the open-source baseline (Qwen2.5-VL-72B-Ins) by 25% in average success rate and surpasses the closed-source State-of-the-Art (SOTA) (Claude3.5-Sonnet) by 5%, establishing new SOTA. Ablation studies validate key components (critic, spatial memory, long-term memory), while real-world deployment confirms its lifelong learning capability with significantly improved success rates across repeated tasks. RoboMemory alleviates high latency challenges with scalability, serving as a foundational reference for integrating multi-modal memory systems in physical robots.