IGL-Nav: Инкрементальная локализация на основе 3D-гауссовых моделей для навигации к целевым изображениям

IGL-Nav: Incremental 3D Gaussian Localization for Image-goal Navigation

August 1, 2025

Авторы: Wenxuan Guo, Xiuwei Xu, Hang Yin, Ziwei Wang, Jianjiang Feng, Jie Zhou, Jiwen Lu

cs.AI

Аннотация

Визуальная навигация с изображением в качестве цели представляет собой фундаментальную и сложную задачу. Традиционные методы либо полагаются на обучение с подкреплением (RL) сквозным образом, либо используют модульную политику с топологическим графом или картой вида сверху (BEV) в качестве памяти, что не позволяет полноценно моделировать геометрические отношения между исследуемой 3D-средой и целевым изображением. Для эффективного и точного определения местоположения целевого изображения в 3D-пространстве мы строим нашу систему навигации на основе рендеримого представления 3D-гауссовой модели (3DGS). Однако из-за высокой вычислительной сложности оптимизации 3DGS и большого пространства поиска 6-степеней свободы (6-DoF) для позы камеры прямое использование 3DGS для локализации изображения в процессе исследования агента оказывается крайне неэффективным. В связи с этим мы предлагаем IGL-Nav — инкрементальную фреймворк локализации на основе 3D-гауссовой модели для эффективной и 3D-осознанной навигации с изображением в качестве цели. В частности, мы инкрементально обновляем представление сцены по мере поступления новых изображений с использованием монохромного предсказания в прямом проходе. Затем мы грубо локализуем цель, используя геометрическую информацию для сопоставления в дискретном пространстве, что эквивалентно эффективной 3D-свертке. Когда агент приближается к цели, мы окончательно определяем точную позу цели с помощью оптимизации через дифференцируемый рендеринг. Предложенный IGL-Nav значительно превосходит существующие современные методы в различных экспериментальных конфигурациях. Он также способен справляться с более сложной задачей навигации с произвольным видом цели и может быть развернут на реальной роботизированной платформе с использованием смартфона для захвата целевого изображения с произвольной позы. Страница проекта: https://gwxuan.github.io/IGL-Nav/.

English

Visual navigation with an image as goal is a fundamental and challenging problem. Conventional methods either rely on end-to-end RL learning or modular-based policy with topological graph or BEV map as memory, which cannot fully model the geometric relationship between the explored 3D environment and the goal image. In order to efficiently and accurately localize the goal image in 3D space, we build our navigation system upon the renderable 3D gaussian (3DGS) representation. However, due to the computational intensity of 3DGS optimization and the large search space of 6-DoF camera pose, directly leveraging 3DGS for image localization during agent exploration process is prohibitively inefficient. To this end, we propose IGL-Nav, an Incremental 3D Gaussian Localization framework for efficient and 3D-aware image-goal navigation. Specifically, we incrementally update the scene representation as new images arrive with feed-forward monocular prediction. Then we coarsely localize the goal by leveraging the geometric information for discrete space matching, which can be equivalent to efficient 3D convolution. When the agent is close to the goal, we finally solve the fine target pose with optimization via differentiable rendering. The proposed IGL-Nav outperforms existing state-of-the-art methods by a large margin across diverse experimental configurations. It can also handle the more challenging free-view image-goal setting and be deployed on real-world robotic platform using a cellphone to capture goal image at arbitrary pose. Project page: https://gwxuan.github.io/IGL-Nav/.