로봇 조작을 위한 시각-언어-행동 모델에서의 이중 잠재 메모리

초록

주류 Vision-Language-Action(VLA) 모델은 마르코프 가정 하에 주로 현재 관측값으로부터 행동을 예측하기 때문에, 장기적이고 시간적 의존성이 있는 작업에 어려움을 겪는다. 기존의 메모리 증강 VLA 모델들은 관측 윈도우를 확장하거나, 보조 정책 측면 컨텍스트로서 메모리 뱅크에서 과거 정보를 검색한다. 그러나 이들은 메모리를 VLA 추론의 고유 잠재 임베딩 공간 외부에 남겨두어, 과거 경험이 다중 모드 추론 및 행동 형성과 유연하게 결합되는 것을 방해한다. 이러한 문제를 해결하기 위해, 우리는 과거 경험을 잠재 메모리 토큰으로 재구성하고 이를 VLA 추론과 직접 결합하는 잠재-메모리-네이티브 프레임워크인 LaMem-VLA를 제안한다. LaMem-VLA의 핵심은 네 가지 조정된 구성 요소로 구성된다: (i) 과거 경험을 두 개의 상호 보완적인 단기 및 장기 메모리 저장소로 구성하는 큐레이터, (ii) 다중 모드 인지를 사용하여 두 저장소를 질의하고 컨텍스트 관련 증거를 검색하는 탐색기, (iii) 검색된 증거를 간결한 단기 및 장기 잠재 메모리 토큰으로 재구성하는 압축기, 그리고 (iv) 이러한 메모리 토큰을 현재 관측값 및 명령어와 함께 하나의 연속적인 임베딩 시퀀스로 주입하는 직조기이다. 과거 경험을 동일한 연속 잠재 공간에서 완전히 표현, 검색 및 소비함으로써, LaMem-VLA는 메모리가 VLA 추론에 직접 참여하고 제한된 컨텍스트 하에서 행동 생성을 안내할 수 있게 한다. SimplerEnv와 LIBERO에 대한 광범위한 실험은 우리 LaMem-VLA의 우수성을 입증한다.

English

Mainstream Vision-Language-Action (VLA) models predict actions primarily from the current observation under a Markovian assumption, thus struggling with long-horizon, temporally dependent tasks. Existing memory-augmented VLAs either expand the observation window or retrieve history from the memory bank as auxiliary policy-side context. However, they leave memory outside the native latent embedding space of VLA reasoning, preventing historical experience from being fluidly interleaved with multimodal reasoning and action formation. To this end, we introduce LaMem-VLA, a latent-memory-native framework that reconstructs historical experience into latent memory tokens and directly interweaves them with VLA reasoning. At its core, LaMem-VLA introduces four coordinated components: (i) a curator that organizes historical experience into two complementary short-term and long-term memory vaults; (ii) a seeker that queries both vaults using the multimodal cognition to retrieve context-relevant evidence; (iii) a condenser that reconstructs the retrieved evidence into compact short-term and long-term latent memory tokens; and (iv) a weaver that injects these memory tokens with the current observation and instruction into one continuous embedding sequence. By representing, retrieving, and consuming historical experience entirely in the same continuous latent space, LaMem-VLA enables memory to directly participate in VLA reasoning and guide action generation under a bounded context. Extensive experiments on SimplerEnv and LIBERO demonstrate the superiority of our LaMem-VLA.