RoboMemory: Um Framework Agente de Múltiplas Memórias Inspirado no Cérebro para Aprendizado Contínuo em Sistemas Embarcados Físicos

RoboMemory: A Brain-inspired Multi-memory Agentic Framework for Lifelong Learning in Physical Embodied Systems

August 2, 2025

Autores: Mingcong Lei, Honghao Cai, Zezhou Cui, Liangchen Tan, Junkun Hong, Gehan Hu, Shuangyu Zhu, Yimou Wu, Shaohan Jiang, Ge Wang, Zhen Li, Shuguang Cui, Yiming Zhao, Yatong Han

cs.AI

Resumo

Apresentamos o RoboMemory, uma estrutura de memória múltipla inspirada no cérebro para aprendizado contínuo em sistemas físicos incorporados, abordando desafios críticos em ambientes do mundo real: aprendizado contínuo, latência de memória multi-módulo, captura de correlação de tarefas e mitigação de loops infinitos no planejamento em circuito fechado. Baseado na neurociência cognitiva, ele integra quatro módulos principais: o Pré-processador de Informações (semelhante ao tálamo), o Sistema de Memória Incorporada Contínua (semelhante ao hipocampo), o Módulo de Planejamento em Circuito Fechado (semelhante ao lobo pré-frontal) e o Executor de Baixo Nível (semelhante ao cerebelo) para permitir planejamento de longo prazo e aprendizado cumulativo. O Sistema de Memória Incorporada Contínua, central na estrutura, alivia problemas de velocidade de inferência em estruturas de memória complexas por meio de atualizações/recuperações paralelizadas entre sub-módulos Espacial, Temporal, Episódico e Semântico. Ele incorpora um Grafo de Conhecimento (KG) dinâmico e um design arquitetônico consistente para melhorar a consistência e escalabilidade da memória. Avaliações no EmbodiedBench mostram que o RoboMemory supera a linha de base de código aberto (Qwen2.5-VL-72B-Ins) em 25% na taxa média de sucesso e ultrapassa o State-of-the-Art (SOTA) de código fechado (Claude3.5-Sonnet) em 5%, estabelecendo um novo SOTA. Estudos de ablação validam componentes-chave (crítico, memória espacial, memória de longo prazo), enquanto a implantação no mundo real confirma sua capacidade de aprendizado contínuo com taxas de sucesso significativamente melhoradas em tarefas repetidas. O RoboMemory alivia desafios de alta latência com escalabilidade, servindo como uma referência fundamental para a integração de sistemas de memória multimodal em robôs físicos.

English

We present RoboMemory, a brain-inspired multi-memory framework for lifelong learning in physical embodied systems, addressing critical challenges in real-world environments: continuous learning, multi-module memory latency, task correlation capture, and infinite-loop mitigation in closed-loop planning. Grounded in cognitive neuroscience, it integrates four core modules: the Information Preprocessor (thalamus-like), the Lifelong Embodied Memory System (hippocampus-like), the Closed-Loop Planning Module (prefrontal lobe-like), and the Low-Level Executer (cerebellum-like) to enable long-term planning and cumulative learning. The Lifelong Embodied Memory System, central to the framework, alleviates inference speed issues in complex memory frameworks via parallelized updates/retrieval across Spatial, Temporal, Episodic, and Semantic submodules. It incorporates a dynamic Knowledge Graph (KG) and consistent architectural design to enhance memory consistency and scalability. Evaluations on EmbodiedBench show RoboMemory outperforms the open-source baseline (Qwen2.5-VL-72B-Ins) by 25% in average success rate and surpasses the closed-source State-of-the-Art (SOTA) (Claude3.5-Sonnet) by 5%, establishing new SOTA. Ablation studies validate key components (critic, spatial memory, long-term memory), while real-world deployment confirms its lifelong learning capability with significantly improved success rates across repeated tasks. RoboMemory alleviates high latency challenges with scalability, serving as a foundational reference for integrating multi-modal memory systems in physical robots.