LiftFeat: 3D-Geometrie-bewusste lokale Merkmalszuordnung

LiftFeat: 3D Geometry-Aware Local Feature Matching

May 6, 2025

Autoren: Yepeng Liu, Wenpeng Lai, Zhou Zhao, Yuxuan Xiong, Jinchi Zhu, Jun Cheng, Yongchao Xu

cs.AI

Zusammenfassung

Robuste und effiziente lokale Merkmalszuordnung spielt eine entscheidende Rolle in Anwendungen wie SLAM und visueller Lokalisierung für Robotik. Trotz großer Fortschritte bleibt es sehr herausfordernd, robuste und diskriminative visuelle Merkmale in Szenarien mit drastischen Lichtveränderungen, texturarmen Bereichen oder sich wiederholenden Mustern zu extrahieren. In diesem Artikel schlagen wir ein neues leichtgewichtiges Netzwerk namens LiftFeat vor, das die Robustheit von Rohdeskriptoren durch die Aggregation von 3D-geometrischen Merkmalen erhöht. Konkret verwenden wir zunächst ein vortrainiertes monokulares Tiefenschätzungsmodell, um pseudo-Oberflächennormalen-Labels zu generieren, die die Extraktion von 3D-geometrischen Merkmalen in Bezug auf vorhergesagte Oberflächennormalen überwachen. Anschließend entwerfen wir ein 3D-geometrie-bewusstes Merkmalshebungsmodul, um Oberflächennormalenmerkmale mit rohen 2D-Deskriptormerkmalen zu fusionieren. Die Integration solcher 3D-geometrischen Merkmale verbessert die diskriminative Fähigkeit der 2D-Merkmalsbeschreibung unter extremen Bedingungen. Umfangreiche experimentelle Ergebnisse zur relativen Pose-Schätzung, Homographie-Schätzung und visuellen Lokalisierung zeigen, dass unser LiftFeat einige leichtgewichtige State-of-the-Art-Methoden übertrifft. Der Code wird unter https://github.com/lyp-deeplearning/LiftFeat veröffentlicht.

English

Robust and efficient local feature matching plays a crucial role in applications such as SLAM and visual localization for robotics. Despite great progress, it is still very challenging to extract robust and discriminative visual features in scenarios with drastic lighting changes, low texture areas, or repetitive patterns. In this paper, we propose a new lightweight network called LiftFeat, which lifts the robustness of raw descriptor by aggregating 3D geometric feature. Specifically, we first adopt a pre-trained monocular depth estimation model to generate pseudo surface normal label, supervising the extraction of 3D geometric feature in terms of predicted surface normal. We then design a 3D geometry-aware feature lifting module to fuse surface normal feature with raw 2D descriptor feature. Integrating such 3D geometric feature enhances the discriminative ability of 2D feature description in extreme conditions. Extensive experimental results on relative pose estimation, homography estimation, and visual localization tasks, demonstrate that our LiftFeat outperforms some lightweight state-of-the-art methods. Code will be released at : https://github.com/lyp-deeplearning/LiftFeat.