Mem4Nav: Verbesserung der visuell-sprachlichen Navigation in urbanen Umgebungen mit einem hierarchischen räumlich-kognitiven Langzeit-Kurzzeit-Gedächtnissystem

Mem4Nav: Boosting Vision-and-Language Navigation in Urban Environments with a Hierarchical Spatial-Cognition Long-Short Memory System

June 24, 2025

Autoren: Lixuan He, Haoyu Dong, Zhenxing Chen, Yangcheng Yu, Jie Feng, Yong Li

cs.AI

Zusammenfassung

Vision-and-Language Navigation (VLN) in großräumigen urbanen Umgebungen erfordert, dass verkörperte Agenten sprachliche Anweisungen in komplexen Szenen verankern und relevante Erfahrungen über längere Zeiträume hinweg abrufen können. Bisherige modulare Pipelines bieten Interpretierbarkeit, mangeln jedoch an einem einheitlichen Gedächtnis, während end-to-end (M)LLM-Agenten zwar in der Fusion von Vision und Sprache hervorragend sind, jedoch durch feste Kontextfenster und implizite räumliche Schlussfolgerungen eingeschränkt bleiben. Wir stellen Mem4Nav vor, ein hierarchisches räumlich-kognitives Langzeit-Kurzzeit-Gedächtnissystem, das jeden VLN-Backbone erweitern kann. Mem4Nav kombiniert ein spärliches Oktree für die feinkörnige Voxel-Indizierung mit einem semantischen Topologiegraphen für die Konnektivität von Landmarken auf hoher Ebene und speichert beide in trainierbaren Gedächtnis-Tokens, die über einen reversiblen Transformer eingebettet werden. Das Langzeitgedächtnis (LTM) komprimiert und behält historische Beobachtungen sowohl auf Oktree- als auch auf Graphenknoten bei, während das Kurzzeitgedächtnis (STM) aktuelle multimodale Einträge in relativen Koordinaten zwischenspeichert, um Echtzeit-Hindernisvermeidung und lokale Planung zu ermöglichen. Bei jedem Schritt schneidet die STM-Abrufung den dynamischen Kontext scharf zu, und wenn eine tiefere Historie benötigt wird, werden LTM-Tokens verlustfrei decodiert, um vergangene Einbettungen zu rekonstruieren. Ausgewertet auf Touchdown und Map2Seq über drei Backbones (modular, state-of-the-art VLN mit prompt-basiertem LLM und state-of-the-art VLN mit gestaffelter Aufmerksamkeit MLLM), erzielt Mem4Nav 7-13 Prozentpunkte Gewinne bei der Aufgabenabschlussrate, eine ausreichende Reduzierung der SPD und eine Verbesserung des nDTW um >10 Prozentpunkte. Ablationen bestätigen die Unverzichtbarkeit sowohl der hierarchischen Karte als auch der dualen Gedächtnismodule. Unsere Codes sind über https://github.com/tsinghua-fib-lab/Mem4Nav quelloffen verfügbar.

English

Vision-and-Language Navigation (VLN) in large-scale urban environments requires embodied agents to ground linguistic instructions in complex scenes and recall relevant experiences over extended time horizons. Prior modular pipelines offer interpretability but lack unified memory, while end-to-end (M)LLM agents excel at fusing vision and language yet remain constrained by fixed context windows and implicit spatial reasoning. We introduce Mem4Nav, a hierarchical spatial-cognition long-short memory system that can augment any VLN backbone. Mem4Nav fuses a sparse octree for fine-grained voxel indexing with a semantic topology graph for high-level landmark connectivity, storing both in trainable memory tokens embedded via a reversible Transformer. Long-term memory (LTM) compresses and retains historical observations at both octree and graph nodes, while short-term memory (STM) caches recent multimodal entries in relative coordinates for real-time obstacle avoidance and local planning. At each step, STM retrieval sharply prunes dynamic context, and, when deeper history is needed, LTM tokens are decoded losslessly to reconstruct past embeddings. Evaluated on Touchdown and Map2Seq across three backbones (modular, state-of-the-art VLN with prompt-based LLM, and state-of-the-art VLN with strided-attention MLLM), Mem4Nav yields 7-13 pp gains in Task Completion, sufficient SPD reduction, and >10 pp nDTW improvement. Ablations confirm the indispensability of both the hierarchical map and dual memory modules. Our codes are open-sourced via https://github.com/tsinghua-fib-lab/Mem4Nav.