로보메모리: 물리적 구현 시스템에서의 평생 학습을 위한 뇌 영감형 다중 메모리 에이전트 프레임워크

초록

우리는 물리적 구현 시스템에서의 평생 학습을 위한 뇌 과학에서 영감을 받은 다중 메모리 프레임워크인 RoboMemory를 제안한다. 이 프레임워크는 실제 환경에서의 주요 문제들, 즉 지속적 학습, 다중 모듈 메모리 지연, 작업 상관관계 포착, 그리고 폐루프 계획에서의 무한 루프 완화를 해결한다. 인지 신경과학에 기반을 둔 이 프레임워크는 네 가지 핵심 모듈을 통합한다: 정보 전처리기(시상과 유사), 평생 구현 메모리 시스템(해마와 유사), 폐루프 계획 모듈(전두엽과 유사), 그리고 저수준 실행기(소뇌와 유사)로 장기 계획과 누적 학습을 가능하게 한다. 이 프레임워크의 중심인 평생 구현 메모리 시스템은 공간, 시간, 에피소드, 의미론적 하위 모듈 간의 병렬화된 업데이트/검색을 통해 복잡한 메모리 프레임워크에서의 추론 속도 문제를 완화한다. 동적 지식 그래프(KG)와 일관된 아키텍처 설계를 통합하여 메모리 일관성과 확장성을 향상시킨다. EmbodiedBench에서의 평가 결과, RoboMemory는 오픈소스 기준선(Qwen2.5-VL-72B-Ins)보다 평균 성공률에서 25% 우수한 성능을 보였으며, 폐쇄형 최신 기술(SOTA)(Claude3.5-Sonnet)을 5% 앞서며 새로운 SOTA를 확립했다. 주요 구성 요소(비평가, 공간 메모리, 장기 메모리)에 대한 제거 연구가 이를 검증했으며, 실제 배포에서 반복 작업에서의 성공률이 크게 향상된 평생 학습 능력을 확인했다. RoboMemory는 확장성을 통해 높은 지연 문제를 완화하며, 물리적 로봇에서 다중 모드 메모리 시스템을 통합하기 위한 기초 참조로 기능한다.

English

We present RoboMemory, a brain-inspired multi-memory framework for lifelong learning in physical embodied systems, addressing critical challenges in real-world environments: continuous learning, multi-module memory latency, task correlation capture, and infinite-loop mitigation in closed-loop planning. Grounded in cognitive neuroscience, it integrates four core modules: the Information Preprocessor (thalamus-like), the Lifelong Embodied Memory System (hippocampus-like), the Closed-Loop Planning Module (prefrontal lobe-like), and the Low-Level Executer (cerebellum-like) to enable long-term planning and cumulative learning. The Lifelong Embodied Memory System, central to the framework, alleviates inference speed issues in complex memory frameworks via parallelized updates/retrieval across Spatial, Temporal, Episodic, and Semantic submodules. It incorporates a dynamic Knowledge Graph (KG) and consistent architectural design to enhance memory consistency and scalability. Evaluations on EmbodiedBench show RoboMemory outperforms the open-source baseline (Qwen2.5-VL-72B-Ins) by 25% in average success rate and surpasses the closed-source State-of-the-Art (SOTA) (Claude3.5-Sonnet) by 5%, establishing new SOTA. Ablation studies validate key components (critic, spatial memory, long-term memory), while real-world deployment confirms its lifelong learning capability with significantly improved success rates across repeated tasks. RoboMemory alleviates high latency challenges with scalability, serving as a foundational reference for integrating multi-modal memory systems in physical robots.

로보메모리: 물리적 구현 시스템에서의 평생 학습을 위한 뇌 영감형 다중 메모리 에이전트 프레임워크

RoboMemory: A Brain-inspired Multi-memory Agentic Framework for Lifelong Learning in Physical Embodied Systems

초록

Support