IGL-Nav: Inkrementelle 3D-Gauß-Lokalisierung für bildzielbasierte Navigation

IGL-Nav: Incremental 3D Gaussian Localization for Image-goal Navigation

August 1, 2025

papers.authors: Wenxuan Guo, Xiuwei Xu, Hang Yin, Ziwei Wang, Jianjiang Feng, Jie Zhou, Jiwen Lu

cs.AI

papers.abstract

Visuelle Navigation mit einem Bild als Ziel ist ein grundlegendes und herausforderndes Problem. Konventionelle Methoden verlassen sich entweder auf end-to-end RL-Lernen oder auf eine modulare Policy mit einem topologischen Graphen oder einer BEV-Karte als Gedächtnis, was die geometrische Beziehung zwischen der erkundeten 3D-Umgebung und dem Zielbild nicht vollständig modellieren kann. Um das Zielbild effizient und präzise im 3D-Raum zu lokalisieren, bauen wir unser Navigationssystem auf der renderbaren 3D-Gauß-Darstellung (3DGS) auf. Aufgrund der rechenintensiven Natur der 3DGS-Optimierung und des großen Suchraums der 6-DoF-Kamerapose ist es jedoch äußerst ineffizient, 3DGS direkt für die Bildlokalisierung während des Erkundungsprozesses des Agenten zu nutzen. Daher schlagen wir IGL-Nav vor, ein inkrementelles 3D-Gauß-Lokalisierungsframework für effiziente und 3D-bewusste Bildzielnavigation. Konkret aktualisieren wir die Szenendarstellung inkrementell, wenn neue Bilder mit einer vorwärtsgerichteten monokularen Vorhersage eintreffen. Dann lokalisieren wir das Ziel grob, indem wir die geometrischen Informationen für die diskrete Raumabgleichung nutzen, was einer effizienten 3D-Faltung entspricht. Wenn sich der Agent dem Ziel nähert, lösen wir schließlich die genaue Zielpose durch Optimierung mittels differenzierbarem Rendering. Das vorgeschlagene IGL-Nav übertrifft die bestehenden State-of-the-Art-Methoden deutlich in verschiedenen experimentellen Konfigurationen. Es kann auch die anspruchsvollere freie Sicht-Bildziel-Einstellung bewältigen und auf einer realen Roboterplattform eingesetzt werden, wobei ein Handy verwendet wird, um das Zielbild in einer beliebigen Pose aufzunehmen. Projektseite: https://gwxuan.github.io/IGL-Nav/.

English

Visual navigation with an image as goal is a fundamental and challenging problem. Conventional methods either rely on end-to-end RL learning or modular-based policy with topological graph or BEV map as memory, which cannot fully model the geometric relationship between the explored 3D environment and the goal image. In order to efficiently and accurately localize the goal image in 3D space, we build our navigation system upon the renderable 3D gaussian (3DGS) representation. However, due to the computational intensity of 3DGS optimization and the large search space of 6-DoF camera pose, directly leveraging 3DGS for image localization during agent exploration process is prohibitively inefficient. To this end, we propose IGL-Nav, an Incremental 3D Gaussian Localization framework for efficient and 3D-aware image-goal navigation. Specifically, we incrementally update the scene representation as new images arrive with feed-forward monocular prediction. Then we coarsely localize the goal by leveraging the geometric information for discrete space matching, which can be equivalent to efficient 3D convolution. When the agent is close to the goal, we finally solve the fine target pose with optimization via differentiable rendering. The proposed IGL-Nav outperforms existing state-of-the-art methods by a large margin across diverse experimental configurations. It can also handle the more challenging free-view image-goal setting and be deployed on real-world robotic platform using a cellphone to capture goal image at arbitrary pose. Project page: https://gwxuan.github.io/IGL-Nav/.