IGL-Nav: Localización Incremental con Gaussianas 3D para Navegación Basada en Imágenes

IGL-Nav: Incremental 3D Gaussian Localization for Image-goal Navigation

August 1, 2025

Autores: Wenxuan Guo, Xiuwei Xu, Hang Yin, Ziwei Wang, Jianjiang Feng, Jie Zhou, Jiwen Lu

cs.AI

Resumen

La navegación visual con una imagen como objetivo es un problema fundamental y desafiante. Los métodos convencionales dependen ya sea del aprendizaje por refuerzo (RL) de extremo a extremo o de políticas modulares basadas en grafos topológicos o mapas BEV como memoria, los cuales no pueden modelar completamente la relación geométrica entre el entorno 3D explorado y la imagen objetivo. Para localizar de manera eficiente y precisa la imagen objetivo en el espacio 3D, construimos nuestro sistema de navegación sobre la representación de gaussianos 3D renderizables (3DGS). Sin embargo, debido a la intensidad computacional de la optimización 3DGS y al amplio espacio de búsqueda de la pose de cámara de 6 grados de libertad (6-DoF), aprovechar directamente 3DGS para la localización de imágenes durante el proceso de exploración del agente resulta prohibitivamente ineficiente. Para abordar esto, proponemos IGL-Nav, un marco de Localización Incremental de Gaussianos 3D para una navegación eficiente y consciente del espacio 3D con imagen como objetivo. Específicamente, actualizamos incrementalmente la representación de la escena a medida que llegan nuevas imágenes con predicción monocular de avance. Luego, localizamos de manera aproximada el objetivo aprovechando la información geométrica para la coincidencia en un espacio discreto, lo cual puede equivaler a una convolución 3D eficiente. Cuando el agente está cerca del objetivo, finalmente resolvemos la pose fina del objetivo mediante optimización a través de renderizado diferenciable. El IGL-Nav propuesto supera ampliamente a los métodos más avanzados existentes en diversas configuraciones experimentales. También puede manejar el escenario más desafiante de navegación con imagen objetivo en vista libre y ser implementado en una plataforma robótica del mundo real utilizando un teléfono móvil para capturar la imagen objetivo en una pose arbitraria. Página del proyecto: https://gwxuan.github.io/IGL-Nav/.

English

Visual navigation with an image as goal is a fundamental and challenging problem. Conventional methods either rely on end-to-end RL learning or modular-based policy with topological graph or BEV map as memory, which cannot fully model the geometric relationship between the explored 3D environment and the goal image. In order to efficiently and accurately localize the goal image in 3D space, we build our navigation system upon the renderable 3D gaussian (3DGS) representation. However, due to the computational intensity of 3DGS optimization and the large search space of 6-DoF camera pose, directly leveraging 3DGS for image localization during agent exploration process is prohibitively inefficient. To this end, we propose IGL-Nav, an Incremental 3D Gaussian Localization framework for efficient and 3D-aware image-goal navigation. Specifically, we incrementally update the scene representation as new images arrive with feed-forward monocular prediction. Then we coarsely localize the goal by leveraging the geometric information for discrete space matching, which can be equivalent to efficient 3D convolution. When the agent is close to the goal, we finally solve the fine target pose with optimization via differentiable rendering. The proposed IGL-Nav outperforms existing state-of-the-art methods by a large margin across diverse experimental configurations. It can also handle the more challenging free-view image-goal setting and be deployed on real-world robotic platform using a cellphone to capture goal image at arbitrary pose. Project page: https://gwxuan.github.io/IGL-Nav/.