IGL-Nav: Localização Incremental com Gaussianas 3D para Navegação com Meta de Imagem

IGL-Nav: Incremental 3D Gaussian Localization for Image-goal Navigation

August 1, 2025

Autores: Wenxuan Guo, Xiuwei Xu, Hang Yin, Ziwei Wang, Jianjiang Feng, Jie Zhou, Jiwen Lu

cs.AI

Resumo

A navegação visual com uma imagem como objetivo é um problema fundamental e desafiador. Métodos convencionais dependem de aprendizado por reforço (RL) de ponta a ponta ou de políticas modulares com grafos topológicos ou mapas BEV como memória, que não conseguem modelar completamente a relação geométrica entre o ambiente 3D explorado e a imagem objetivo. Para localizar eficientemente e com precisão a imagem objetivo no espaço 3D, construímos nosso sistema de navegação com base na representação de gaussiana 3D renderizável (3DGS). No entanto, devido à intensidade computacional da otimização 3DGS e ao grande espaço de busca da pose da câmera com 6 graus de liberdade (6-DoF), o uso direto da 3DGS para localização de imagem durante o processo de exploração do agente é proibitivamente ineficiente. Para isso, propomos o IGL-Nav, uma estrutura de Localização Incremental de Gaussiana 3D para navegação eficiente e consciente do espaço 3D com imagem como objetivo. Especificamente, atualizamos incrementalmente a representação da cena à medida que novas imagens chegam com previsão monocular de avanço. Em seguida, localizamos grosseiramente o objetivo utilizando informações geométricas para correspondência de espaço discreto, o que pode ser equivalente a uma convolução 3D eficiente. Quando o agente está próximo do objetivo, resolvemos finalmente a pose fina do alvo com otimização via renderização diferenciável. O IGL-Nav proposto supera os métodos state-of-the-art existentes por uma grande margem em diversas configurações experimentais. Ele também pode lidar com a configuração mais desafiadora de imagem objetivo com visão livre e ser implantado em uma plataforma robótica do mundo real usando um celular para capturar a imagem objetivo em uma pose arbitrária. Página do projeto: https://gwxuan.github.io/IGL-Nav/.

English

Visual navigation with an image as goal is a fundamental and challenging problem. Conventional methods either rely on end-to-end RL learning or modular-based policy with topological graph or BEV map as memory, which cannot fully model the geometric relationship between the explored 3D environment and the goal image. In order to efficiently and accurately localize the goal image in 3D space, we build our navigation system upon the renderable 3D gaussian (3DGS) representation. However, due to the computational intensity of 3DGS optimization and the large search space of 6-DoF camera pose, directly leveraging 3DGS for image localization during agent exploration process is prohibitively inefficient. To this end, we propose IGL-Nav, an Incremental 3D Gaussian Localization framework for efficient and 3D-aware image-goal navigation. Specifically, we incrementally update the scene representation as new images arrive with feed-forward monocular prediction. Then we coarsely localize the goal by leveraging the geometric information for discrete space matching, which can be equivalent to efficient 3D convolution. When the agent is close to the goal, we finally solve the fine target pose with optimization via differentiable rendering. The proposed IGL-Nav outperforms existing state-of-the-art methods by a large margin across diverse experimental configurations. It can also handle the more challenging free-view image-goal setting and be deployed on real-world robotic platform using a cellphone to capture goal image at arbitrary pose. Project page: https://gwxuan.github.io/IGL-Nav/.