LiftFeat: 3D 기하학 인식 로컬 특징점 매칭

LiftFeat: 3D Geometry-Aware Local Feature Matching

May 6, 2025

저자: Yepeng Liu, Wenpeng Lai, Zhou Zhao, Yuxuan Xiong, Jinchi Zhu, Jun Cheng, Yongchao Xu

cs.AI

초록

강력하고 효율적인 지역 특징 매칭은 SLAM 및 로봇의 시각적 위치 추정과 같은 응용 분야에서 중요한 역할을 합니다. 큰 진전이 있었음에도 불구하고, 급격한 조명 변화, 저조도 텍스처 영역, 또는 반복적인 패턴이 있는 시나리오에서 강력하고 식별 가능한 시각적 특징을 추출하는 것은 여전히 매우 어려운 과제입니다. 본 논문에서는 3D 기하학적 특징을 통합하여 원시 디스크립터의 강건성을 향상시키는 새로운 경량 네트워크인 LiftFeat을 제안합니다. 구체적으로, 우리는 먼저 사전 훈련된 단안 깊이 추정 모델을 채택하여 가짜 표면 법선 레이블을 생성하고, 예측된 표면 법선 측면에서 3D 기하학적 특징 추출을 지도합니다. 그런 다음, 표면 법선 특징과 원시 2D 디스크립터 특징을 융합하기 위한 3D 기하학적 특징 강화 모듈을 설계합니다. 이러한 3D 기하학적 특징을 통합함으로써 극한 조건에서 2D 특징 기술의 식별 능력이 향상됩니다. 상대적 포즈 추정, 호모그래피 추정, 그리고 시각적 위치 추정 작업에 대한 광범위한 실험 결과는 우리의 LiftFeat이 일부 경량 최신 방법들을 능가함을 보여줍니다. 코드는 https://github.com/lyp-deeplearning/LiftFeat에서 공개될 예정입니다.

English

Robust and efficient local feature matching plays a crucial role in applications such as SLAM and visual localization for robotics. Despite great progress, it is still very challenging to extract robust and discriminative visual features in scenarios with drastic lighting changes, low texture areas, or repetitive patterns. In this paper, we propose a new lightweight network called LiftFeat, which lifts the robustness of raw descriptor by aggregating 3D geometric feature. Specifically, we first adopt a pre-trained monocular depth estimation model to generate pseudo surface normal label, supervising the extraction of 3D geometric feature in terms of predicted surface normal. We then design a 3D geometry-aware feature lifting module to fuse surface normal feature with raw 2D descriptor feature. Integrating such 3D geometric feature enhances the discriminative ability of 2D feature description in extreme conditions. Extensive experimental results on relative pose estimation, homography estimation, and visual localization tasks, demonstrate that our LiftFeat outperforms some lightweight state-of-the-art methods. Code will be released at : https://github.com/lyp-deeplearning/LiftFeat.