LiftFeat : Appariement de caractéristiques locales avec prise en compte de la géométrie 3D

LiftFeat: 3D Geometry-Aware Local Feature Matching

May 6, 2025

Auteurs: Yepeng Liu, Wenpeng Lai, Zhou Zhao, Yuxuan Xiong, Jinchi Zhu, Jun Cheng, Yongchao Xu

cs.AI

Résumé

La correspondance robuste et efficace de caractéristiques locales joue un rôle crucial dans des applications telles que la localisation et cartographie simultanées (SLAM) et la localisation visuelle pour la robotique. Malgré des progrès significatifs, il reste très difficile d'extraire des caractéristiques visuelles robustes et discriminatives dans des scénarios présentant des changements d'éclairage drastiques, des zones à faible texture ou des motifs répétitifs. Dans cet article, nous proposons un nouveau réseau léger appelé LiftFeat, qui améliore la robustesse des descripteurs bruts en agrégeant des caractéristiques géométriques 3D. Plus précisément, nous adoptons d'abord un modèle pré-entraîné d'estimation de profondeur monoculaire pour générer des étiquettes pseudo-normales de surface, supervisant ainsi l'extraction des caractéristiques géométriques 3D en termes de normales de surface prédites. Nous concevons ensuite un module de rehaussement de caractéristiques conscient de la géométrie 3D pour fusionner les caractéristiques de normales de surface avec les descripteurs 2D bruts. L'intégration de telles caractéristiques géométriques 3D améliore la capacité discriminative de la description des caractéristiques 2D dans des conditions extrêmes. Les résultats expérimentaux approfondis sur les tâches d'estimation de pose relative, d'estimation d'homographie et de localisation visuelle démontrent que notre LiftFeat surpasse certaines méthodes légères de pointe. Le code sera disponible à l'adresse : https://github.com/lyp-deeplearning/LiftFeat.

English

Robust and efficient local feature matching plays a crucial role in applications such as SLAM and visual localization for robotics. Despite great progress, it is still very challenging to extract robust and discriminative visual features in scenarios with drastic lighting changes, low texture areas, or repetitive patterns. In this paper, we propose a new lightweight network called LiftFeat, which lifts the robustness of raw descriptor by aggregating 3D geometric feature. Specifically, we first adopt a pre-trained monocular depth estimation model to generate pseudo surface normal label, supervising the extraction of 3D geometric feature in terms of predicted surface normal. We then design a 3D geometry-aware feature lifting module to fuse surface normal feature with raw 2D descriptor feature. Integrating such 3D geometric feature enhances the discriminative ability of 2D feature description in extreme conditions. Extensive experimental results on relative pose estimation, homography estimation, and visual localization tasks, demonstrate that our LiftFeat outperforms some lightweight state-of-the-art methods. Code will be released at : https://github.com/lyp-deeplearning/LiftFeat.