Duales latentes Gedächtnis in Vision-Language-Action-Modellen für die Robotermanipulation

Zusammenfassung

Mainstream-Vision-Language-Action-(VLA)-Modelle sagen Handlungen hauptsächlich auf Basis der aktuellen Beobachtung unter einer Markov-Annahme vorher, wodurch sie bei langfristigen, zeitlich abhängigen Aufgaben an ihre Grenzen stoßen. Bestehende speichergestützte VLAs erweitern entweder das Beobachtungsfenster oder rufen Verlauf aus dem Speicher als Hilfskontext auf der Policieseite ab. Sie lassen den Speicher jedoch außerhalb des nativen latenten Einbettungsraums des VLA-Schließens, sodass historische Erfahrungen nicht fließend mit multimodalem Schließen und Handlungsbildung verwoben werden können. Zu diesem Zweck führen wir LaMem-VLA ein, ein Framework, das historische Erfahrung in latente Speicher-Tokens rekonstruiert und direkt mit dem VLA-Schließen verwebt. Im Kern führt LaMem-VLA vier koordinierte Komponenten ein: (i) einen Kurator, der historische Erfahrung in zwei komplementäre Kurzzeit- und Langzeitspeichertresore organisiert; (ii) einen Sucher, der beide Tresore mithilfe der multimodalen Kognition abfragt, um kontextrelevante Evidenz abzurufen; (iii) einen Kondensator, der die abgerufene Evidenz in kompakte Kurzzeit- und Langzeit-Latenzspeicher-Tokens rekonstruiert; und (iv) einen Weber, der diese Speicher-Tokens zusammen mit der aktuellen Beobachtung und Anweisung in eine kontinuierliche Einbettungssequenz einwebt. Indem LaMem-VLA historische Erfahrung vollständig im selben kontinuierlichen latenten Raum repräsentiert, abruft und konsumiert, ermöglicht es dem Speicher, direkt am VLA-Schließen teilzunehmen und unter einem begrenzten Kontext die Handlungsgeneration zu leiten. Umfangreiche Experimente auf SimplerEnv und LIBERO belegen die Überlegenheit unseres LaMem-VLA.

English

Mainstream Vision-Language-Action (VLA) models predict actions primarily from the current observation under a Markovian assumption, thus struggling with long-horizon, temporally dependent tasks. Existing memory-augmented VLAs either expand the observation window or retrieve history from the memory bank as auxiliary policy-side context. However, they leave memory outside the native latent embedding space of VLA reasoning, preventing historical experience from being fluidly interleaved with multimodal reasoning and action formation. To this end, we introduce LaMem-VLA, a latent-memory-native framework that reconstructs historical experience into latent memory tokens and directly interweaves them with VLA reasoning. At its core, LaMem-VLA introduces four coordinated components: (i) a curator that organizes historical experience into two complementary short-term and long-term memory vaults; (ii) a seeker that queries both vaults using the multimodal cognition to retrieve context-relevant evidence; (iii) a condenser that reconstructs the retrieved evidence into compact short-term and long-term latent memory tokens; and (iv) a weaver that injects these memory tokens with the current observation and instruction into one continuous embedding sequence. By representing, retrieving, and consuming historical experience entirely in the same continuous latent space, LaMem-VLA enables memory to directly participate in VLA reasoning and guide action generation under a bounded context. Extensive experiments on SimplerEnv and LIBERO demonstrate the superiority of our LaMem-VLA.