IGL-Nav: Localizzazione Incrementale con Gaussiane 3D per la Navigazione verso Obiettivi Immagine

IGL-Nav: Incremental 3D Gaussian Localization for Image-goal Navigation

August 1, 2025

Autori: Wenxuan Guo, Xiuwei Xu, Hang Yin, Ziwei Wang, Jianjiang Feng, Jie Zhou, Jiwen Lu

cs.AI

Abstract

La navigazione visiva con un'immagine come obiettivo è un problema fondamentale e impegnativo. I metodi convenzionali si basano sull'apprendimento RL end-to-end o su politiche modulari con grafi topologici o mappe BEV come memoria, che non riescono a modellare completamente la relazione geometrica tra l'ambiente 3D esplorato e l'immagine obiettivo. Per localizzare in modo efficiente e accurato l'immagine obiettivo nello spazio 3D, costruiamo il nostro sistema di navigazione sulla rappresentazione renderizzabile di gaussiane 3D (3DGS). Tuttavia, a causa dell'intensità computazionale dell'ottimizzazione 3DGS e del vasto spazio di ricerca della posa della camera a 6 gradi di libertà, sfruttare direttamente la 3DGS per la localizzazione dell'immagine durante il processo di esplorazione dell'agente è eccessivamente inefficiente. A tal fine, proponiamo IGL-Nav, un framework di localizzazione incrementale di gaussiane 3D per una navigazione efficiente e consapevole del 3D con immagine obiettivo. Nello specifico, aggiorniamo incrementalmente la rappresentazione della scena man mano che arrivano nuove immagini con previsione monoscopica feed-forward. Quindi localizziamo approssimativamente l'obiettivo sfruttando le informazioni geometriche per il matching di spazio discreto, che può essere equivalente a una convoluzione 3D efficiente. Quando l'agente è vicino all'obiettivo, risolviamo infine la posa precisa del target con l'ottimizzazione tramite rendering differenziabile. Il proposto IGL-Nav supera di gran lunga i metodi state-of-the-art esistenti in diverse configurazioni sperimentali. Può anche gestire l'impostazione più impegnativa dell'immagine obiettivo con vista libera e può essere implementato su una piattaforma robotica del mondo reale utilizzando uno smartphone per catturare l'immagine obiettivo da una posa arbitraria. Pagina del progetto: https://gwxuan.github.io/IGL-Nav/.

English

Visual navigation with an image as goal is a fundamental and challenging problem. Conventional methods either rely on end-to-end RL learning or modular-based policy with topological graph or BEV map as memory, which cannot fully model the geometric relationship between the explored 3D environment and the goal image. In order to efficiently and accurately localize the goal image in 3D space, we build our navigation system upon the renderable 3D gaussian (3DGS) representation. However, due to the computational intensity of 3DGS optimization and the large search space of 6-DoF camera pose, directly leveraging 3DGS for image localization during agent exploration process is prohibitively inefficient. To this end, we propose IGL-Nav, an Incremental 3D Gaussian Localization framework for efficient and 3D-aware image-goal navigation. Specifically, we incrementally update the scene representation as new images arrive with feed-forward monocular prediction. Then we coarsely localize the goal by leveraging the geometric information for discrete space matching, which can be equivalent to efficient 3D convolution. When the agent is close to the goal, we finally solve the fine target pose with optimization via differentiable rendering. The proposed IGL-Nav outperforms existing state-of-the-art methods by a large margin across diverse experimental configurations. It can also handle the more challenging free-view image-goal setting and be deployed on real-world robotic platform using a cellphone to capture goal image at arbitrary pose. Project page: https://gwxuan.github.io/IGL-Nav/.