LiftFeat: Emparejamiento de Características Locales con Conciencia de Geometría 3D

LiftFeat: 3D Geometry-Aware Local Feature Matching

May 6, 2025

Autores: Yepeng Liu, Wenpeng Lai, Zhou Zhao, Yuxuan Xiong, Jinchi Zhu, Jun Cheng, Yongchao Xu

cs.AI

Resumen

La correspondencia robusta y eficiente de características locales juega un papel crucial en aplicaciones como SLAM y localización visual para robótica. A pesar de los grandes avances, sigue siendo muy desafiante extraer características visuales robustas y discriminativas en escenarios con cambios drásticos de iluminación, áreas de baja textura o patrones repetitivos. En este artículo, proponemos una nueva red ligera llamada LiftFeat, que mejora la robustez del descriptor crudo mediante la agregación de características geométricas 3D. Específicamente, primero adoptamos un modelo preentrenado de estimación de profundidad monocular para generar etiquetas pseudo normales de superficie, supervisando la extracción de características geométricas 3D en términos de la normal de superficie predicha. Luego, diseñamos un módulo de mejora de características consciente de la geometría 3D para fusionar la característica de normal de superficie con la característica del descriptor 2D crudo. La integración de dicha característica geométrica 3D mejora la capacidad discriminativa de la descripción de características 2D en condiciones extremas. Los resultados experimentales extensivos en tareas de estimación de pose relativa, estimación de homografía y localización visual demuestran que nuestro LiftFeat supera a algunos métodos ligeros de última generación. El código se publicará en: https://github.com/lyp-deeplearning/LiftFeat.

English

Robust and efficient local feature matching plays a crucial role in applications such as SLAM and visual localization for robotics. Despite great progress, it is still very challenging to extract robust and discriminative visual features in scenarios with drastic lighting changes, low texture areas, or repetitive patterns. In this paper, we propose a new lightweight network called LiftFeat, which lifts the robustness of raw descriptor by aggregating 3D geometric feature. Specifically, we first adopt a pre-trained monocular depth estimation model to generate pseudo surface normal label, supervising the extraction of 3D geometric feature in terms of predicted surface normal. We then design a 3D geometry-aware feature lifting module to fuse surface normal feature with raw 2D descriptor feature. Integrating such 3D geometric feature enhances the discriminative ability of 2D feature description in extreme conditions. Extensive experimental results on relative pose estimation, homography estimation, and visual localization tasks, demonstrate that our LiftFeat outperforms some lightweight state-of-the-art methods. Code will be released at : https://github.com/lyp-deeplearning/LiftFeat.