LiftFeat: Correspondência de Características Locais com Consciência de Geometria 3D

LiftFeat: 3D Geometry-Aware Local Feature Matching

May 6, 2025

Autores: Yepeng Liu, Wenpeng Lai, Zhou Zhao, Yuxuan Xiong, Jinchi Zhu, Jun Cheng, Yongchao Xu

cs.AI

Resumo

A correspondência robusta e eficiente de características locais desempenha um papel crucial em aplicações como SLAM e localização visual para robótica. Apesar dos grandes avanços, ainda é muito desafiador extrair características visuais robustas e discriminativas em cenários com mudanças drásticas de iluminação, áreas de baixa textura ou padrões repetitivos. Neste artigo, propomos uma nova rede leve chamada LiftFeat, que aumenta a robustez do descritor bruto ao agregar características geométricas 3D. Especificamente, primeiro adotamos um modelo pré-treinado de estimativa de profundidade monocular para gerar rótulos pseudo-normais de superfície, supervisionando a extração de características geométricas 3D em termos de normais de superfície previstas. Em seguida, projetamos um módulo de elevação de características consciente da geometria 3D para fundir as características normais da superfície com as características do descritor 2D bruto. A integração dessas características geométricas 3D aumenta a capacidade discriminativa da descrição de características 2D em condições extremas. Resultados experimentais extensivos em tarefas de estimativa de pose relativa, estimativa de homografia e localização visual demonstram que nosso LiftFeat supera alguns métodos leves de última geração. O código será disponibilizado em: https://github.com/lyp-deeplearning/LiftFeat.

English

Robust and efficient local feature matching plays a crucial role in applications such as SLAM and visual localization for robotics. Despite great progress, it is still very challenging to extract robust and discriminative visual features in scenarios with drastic lighting changes, low texture areas, or repetitive patterns. In this paper, we propose a new lightweight network called LiftFeat, which lifts the robustness of raw descriptor by aggregating 3D geometric feature. Specifically, we first adopt a pre-trained monocular depth estimation model to generate pseudo surface normal label, supervising the extraction of 3D geometric feature in terms of predicted surface normal. We then design a 3D geometry-aware feature lifting module to fuse surface normal feature with raw 2D descriptor feature. Integrating such 3D geometric feature enhances the discriminative ability of 2D feature description in extreme conditions. Extensive experimental results on relative pose estimation, homography estimation, and visual localization tasks, demonstrate that our LiftFeat outperforms some lightweight state-of-the-art methods. Code will be released at : https://github.com/lyp-deeplearning/LiftFeat.