Mem4Nav: Mejorando la Navegación Visión-Lenguaje en Entornos Urbanos con un Sistema Jerárquico de Memoria a Corto-Largo Plazo con Cognición Espacial

Mem4Nav: Boosting Vision-and-Language Navigation in Urban Environments with a Hierarchical Spatial-Cognition Long-Short Memory System

June 24, 2025

Autores: Lixuan He, Haoyu Dong, Zhenxing Chen, Yangcheng Yu, Jie Feng, Yong Li

cs.AI

Resumen

La Navegación Visión-Lenguaje (VLN) en entornos urbanos a gran escala requiere que los agentes corporeizados fundamenten instrucciones lingüísticas en escenas complejas y recuerden experiencias relevantes a lo largo de horizontes temporales prolongados. Los enfoques modulares previos ofrecen interpretabilidad pero carecen de una memoria unificada, mientras que los agentes de extremo a extremo basados en (M)LLM sobresalen en fusionar visión y lenguaje, aunque siguen limitados por ventanas de contexto fijas y razonamiento espacial implícito. Presentamos Mem4Nav, un sistema jerárquico de memoria a corto y largo plazo para cognición espacial que puede potenciar cualquier arquitectura base de VLN. Mem4Nav combina un octree disperso para indexación de vóxeles de grano fino con un grafo topológico semántico para conectividad de puntos de referencia de alto nivel, almacenando ambos en tokens de memoria entrenables incrustados mediante un Transformer reversible. La memoria a largo plazo (LTM) comprime y retiene observaciones históricas tanto en los nodos del octree como del grafo, mientras que la memoria a corto plazo (STM) almacena en caché entradas multimodales recientes en coordenadas relativas para evitar obstáculos en tiempo real y planificación local. En cada paso, la recuperación de la STM reduce drásticamente el contexto dinámico, y, cuando se necesita un historial más profundo, los tokens de la LTM se decodifican sin pérdidas para reconstruir incrustaciones pasadas. Evaluado en Touchdown y Map2Seq con tres arquitecturas base (modular, VLN de última generación con LLM basado en prompts, y VLN de última generación con MLLM de atención segmentada), Mem4Nav logra mejoras de 7-13 puntos porcentuales en Completación de Tareas, reducción suficiente de SPD y una mejora de >10 pp en nDTW. Las ablaciones confirman la indispensabilidad tanto del mapa jerárquico como de los módulos de memoria dual. Nuestro código es de código abierto en https://github.com/tsinghua-fib-lab/Mem4Nav.

English

Vision-and-Language Navigation (VLN) in large-scale urban environments requires embodied agents to ground linguistic instructions in complex scenes and recall relevant experiences over extended time horizons. Prior modular pipelines offer interpretability but lack unified memory, while end-to-end (M)LLM agents excel at fusing vision and language yet remain constrained by fixed context windows and implicit spatial reasoning. We introduce Mem4Nav, a hierarchical spatial-cognition long-short memory system that can augment any VLN backbone. Mem4Nav fuses a sparse octree for fine-grained voxel indexing with a semantic topology graph for high-level landmark connectivity, storing both in trainable memory tokens embedded via a reversible Transformer. Long-term memory (LTM) compresses and retains historical observations at both octree and graph nodes, while short-term memory (STM) caches recent multimodal entries in relative coordinates for real-time obstacle avoidance and local planning. At each step, STM retrieval sharply prunes dynamic context, and, when deeper history is needed, LTM tokens are decoded losslessly to reconstruct past embeddings. Evaluated on Touchdown and Map2Seq across three backbones (modular, state-of-the-art VLN with prompt-based LLM, and state-of-the-art VLN with strided-attention MLLM), Mem4Nav yields 7-13 pp gains in Task Completion, sufficient SPD reduction, and >10 pp nDTW improvement. Ablations confirm the indispensability of both the hierarchical map and dual memory modules. Our codes are open-sourced via https://github.com/tsinghua-fib-lab/Mem4Nav.