상호작용하는 평면을 통한 3차원 선 매핑

초록

다중 뷰 RGB 이미지로부터의 3D 라인 매핑은 장면을 압축적이고 구조화된 시각적 표현으로 제공합니다. 우리는 이 문제를 물리적 및 위상적 관점에서 접근합니다: 3D 라인은 가장 자연스럽게 유한한 3D 평면 패치의 경계로 나타납니다. 우리는 학습 가능한 라인 및 평면 기본 요소를 명시적으로 모델링하는 라인-평면 공동 최적화 프레임워크인 LiP-Map을 제시합니다. 이러한 결합은 강력한 효율성(일반적으로 장면당 3~5분 내 재구성 완료)을 유지하면서 정확하고 세부적인 3D 라인 매핑을 가능하게 합니다. LiP-Map은 평면 위상을 3D 라인 매핑에 통합한 선도적인 방법으로, 쌍별 공평면성 제약을 부과하는 대신 평면과 라인 기본 요소 간의 상호작용을 명시적으로 구축함으로써 인공 환경에서의 구조화된 재구성을 위한 원칙적인 경로를 제공합니다. ScanNetV2, ScanNet++, Hypersim, 7Scenes 및 Tanks&Temple의 100개 이상의 장면에서 LiP-Map은 최첨단 방법들 대비 정확도와 완성도 모두에서 향상된 성능을 보입니다. 라인 매핑 품질을 넘어, LiP-Map은 라인 지원 시각적 위치 추정을 크게 발전시켜 7Scenes에서 강력한 성능을 입증합니다. 재현 가능한 연구를 위해 우리의 코드는 https://github.com/calmke/LiPMAP 에 공개되었습니다.

English

3D line mapping from multi-view RGB images provides a compact and structured visual representation of scenes. We study the problem from a physical and topological perspective: a 3D line most naturally emerges as the edge of a finite 3D planar patch. We present LiP-Map, a line-plane joint optimization framework that explicitly models learnable line and planar primitives. This coupling enables accurate and detailed 3D line mapping while maintaining strong efficiency (typically completing a reconstruction in 3 to 5 minutes per scene). LiP-Map pioneers the integration of planar topology into 3D line mapping, not by imposing pairwise coplanarity constraints but by explicitly constructing interactions between plane and line primitives, thus offering a principled route toward structured reconstruction in man-made environments. On more than 100 scenes from ScanNetV2, ScanNet++, Hypersim, 7Scenes, and Tanks\&Temple, LiP-Map improves both accuracy and completeness over state-of-the-art methods. Beyond line mapping quality, LiP-Map significantly advances line-assisted visual localization, establishing strong performance on 7Scenes. Our code is released at https://github.com/calmke/LiPMAP for reproducible research.

상호작용하는 평면을 통한 3차원 선 매핑

Interacted Planes Reveal 3D Line Mapping

초록

Support