LiftFeat: 3Dジオメトリを考慮したローカル特徴マッチング

LiftFeat: 3D Geometry-Aware Local Feature Matching

May 6, 2025

著者: Yepeng Liu, Wenpeng Lai, Zhou Zhao, Yuxuan Xiong, Jinchi Zhu, Jun Cheng, Yongchao Xu

cs.AI

要旨

ロバストで効率的な局所特徴マッチングは、ロボティクスにおけるSLAMや視覚的位置推定などのアプリケーションにおいて重要な役割を果たします。大きな進展があったにもかかわらず、急激な照明変化、低テクスチャ領域、または反復パターンが存在するシナリオにおいて、ロバストで識別力のある視覚的特徴を抽出することは依然として非常に困難です。本論文では、3D幾何学的特徴を集約することで生の記述子のロバスト性を向上させる新しい軽量ネットワークであるLiftFeatを提案します。具体的には、まず事前学習された単眼深度推定モデルを採用して疑似表面法線ラベルを生成し、予測された表面法線に基づいて3D幾何学的特徴の抽出を監督します。次に、3D幾何学的特徴を意識した特徴リフティングモジュールを設計し、表面法線特徴と生の2D記述子特徴を融合します。このような3D幾何学的特徴を統合することで、極端な条件下での2D特徴記述の識別能力が向上します。相対姿勢推定、ホモグラフィ推定、および視覚的位置推定タスクにおける広範な実験結果は、我々のLiftFeatがいくつかの軽量な最先端手法を凌駕することを示しています。コードはhttps://github.com/lyp-deeplearning/LiftFeatで公開されます。

English

Robust and efficient local feature matching plays a crucial role in applications such as SLAM and visual localization for robotics. Despite great progress, it is still very challenging to extract robust and discriminative visual features in scenarios with drastic lighting changes, low texture areas, or repetitive patterns. In this paper, we propose a new lightweight network called LiftFeat, which lifts the robustness of raw descriptor by aggregating 3D geometric feature. Specifically, we first adopt a pre-trained monocular depth estimation model to generate pseudo surface normal label, supervising the extraction of 3D geometric feature in terms of predicted surface normal. We then design a 3D geometry-aware feature lifting module to fuse surface normal feature with raw 2D descriptor feature. Integrating such 3D geometric feature enhances the discriminative ability of 2D feature description in extreme conditions. Extensive experimental results on relative pose estimation, homography estimation, and visual localization tasks, demonstrate that our LiftFeat outperforms some lightweight state-of-the-art methods. Code will be released at : https://github.com/lyp-deeplearning/LiftFeat.