LiftFeat: 3D Geometriebewuste lokale kenmerkvergelijking

LiftFeat: 3D Geometry-Aware Local Feature Matching

May 6, 2025

Auteurs: Yepeng Liu, Wenpeng Lai, Zhou Zhao, Yuxuan Xiong, Jinchi Zhu, Jun Cheng, Yongchao Xu

cs.AI

Samenvatting

Robuuste en efficiënte lokale kenmerkenmatching speelt een cruciale rol in toepassingen zoals SLAM en visuele lokalisatie voor robotica. Ondanks grote vooruitgang blijft het uitdagend om robuuste en onderscheidende visuele kenmerken te extraheren in scenario's met drastische lichtveranderingen, gebieden met weinig textuur of repetitieve patronen. In dit artikel introduceren we een nieuw lichtgewicht netwerk genaamd LiftFeat, dat de robuustheid van ruwe descriptors verhoogt door 3D geometrische kenmerken te aggregeren. Specifiek gebruiken we eerst een vooraf getraind monocular diepteschattingsmodel om pseudo-oppervlaktenormaallabels te genereren, die de extractie van 3D geometrische kenmerken begeleiden in termen van voorspelde oppervlaktenormalen. Vervolgens ontwerpen we een 3D geometrie-bewust kenmerkenliftmodule om oppervlaktenormaalkenmerken te fuseren met ruwe 2D descriptorkenmerken. Het integreren van dergelijke 3D geometrische kenmerken verbetert het onderscheidend vermogen van 2D kenmerkenbeschrijvingen in extreme omstandigheden. Uitgebreide experimentele resultaten op taken zoals relatieve pose-estimatie, homografie-estimatie en visuele lokalisatie tonen aan dat onze LiftFeat enkele lichtgewicht state-of-the-art methoden overtreft. De code zal worden vrijgegeven op: https://github.com/lyp-deeplearning/LiftFeat.

English

Robust and efficient local feature matching plays a crucial role in applications such as SLAM and visual localization for robotics. Despite great progress, it is still very challenging to extract robust and discriminative visual features in scenarios with drastic lighting changes, low texture areas, or repetitive patterns. In this paper, we propose a new lightweight network called LiftFeat, which lifts the robustness of raw descriptor by aggregating 3D geometric feature. Specifically, we first adopt a pre-trained monocular depth estimation model to generate pseudo surface normal label, supervising the extraction of 3D geometric feature in terms of predicted surface normal. We then design a 3D geometry-aware feature lifting module to fuse surface normal feature with raw 2D descriptor feature. Integrating such 3D geometric feature enhances the discriminative ability of 2D feature description in extreme conditions. Extensive experimental results on relative pose estimation, homography estimation, and visual localization tasks, demonstrate that our LiftFeat outperforms some lightweight state-of-the-art methods. Code will be released at : https://github.com/lyp-deeplearning/LiftFeat.