LiftFeat: Сопоставление локальных признаков с учетом 3D-геометрии

LiftFeat: 3D Geometry-Aware Local Feature Matching

May 6, 2025

Авторы: Yepeng Liu, Wenpeng Lai, Zhou Zhao, Yuxuan Xiong, Jinchi Zhu, Jun Cheng, Yongchao Xu

cs.AI

Аннотация

Надежное и эффективное сопоставление локальных признаков играет ключевую роль в таких приложениях, как SLAM и визуальная локализация для робототехники. Несмотря на значительный прогресс, извлечение устойчивых и различимых визуальных признаков в условиях резких изменений освещения, областей с низкой текстурой или повторяющихся паттернов остается крайне сложной задачей. В данной статье мы предлагаем новую легковесную сеть под названием LiftFeat, которая повышает устойчивость исходных дескрипторов за счет агрегирования 3D геометрических признаков. В частности, мы сначала используем предварительно обученную модель монохромной оценки глубины для генерации псевдонормалей поверхности, которые контролируют извлечение 3D геометрических признаков на основе предсказанных нормалей поверхности. Затем мы разрабатываем модуль повышения признаков с учетом 3D геометрии, который объединяет признаки нормалей поверхности с исходными 2D дескрипторами. Интеграция таких 3D геометрических признаков усиливает различительную способность 2D описания признаков в экстремальных условиях. Обширные экспериментальные результаты в задачах оценки относительного положения, оценки гомографии и визуальной локализации демонстрируют, что наш LiftFeat превосходит некоторые легковесные современные методы. Код будет доступен по адресу: https://github.com/lyp-deeplearning/LiftFeat.

English

Robust and efficient local feature matching plays a crucial role in applications such as SLAM and visual localization for robotics. Despite great progress, it is still very challenging to extract robust and discriminative visual features in scenarios with drastic lighting changes, low texture areas, or repetitive patterns. In this paper, we propose a new lightweight network called LiftFeat, which lifts the robustness of raw descriptor by aggregating 3D geometric feature. Specifically, we first adopt a pre-trained monocular depth estimation model to generate pseudo surface normal label, supervising the extraction of 3D geometric feature in terms of predicted surface normal. We then design a 3D geometry-aware feature lifting module to fuse surface normal feature with raw 2D descriptor feature. Integrating such 3D geometric feature enhances the discriminative ability of 2D feature description in extreme conditions. Extensive experimental results on relative pose estimation, homography estimation, and visual localization tasks, demonstrate that our LiftFeat outperforms some lightweight state-of-the-art methods. Code will be released at : https://github.com/lyp-deeplearning/LiftFeat.