도플갱어: 유사 구조 이미지의 모호성 해소 학습

초록

우리는 시각적으로 유사한 이미지 쌍이 동일한 3D 표면을 묘사하는지, 아니면 서로 다른 3D 표면을 묘사하는지를 판단하는 시각적 명확화 작업을 고려한다(예: 대칭 건물의 동일한 면 또는 반대 면). 두 이미지가 서로 다르지만 시각적으로 유사한 3D 표면을 관찰하는 환영적 이미지 매칭은 인간이 구분하기 어려울 뿐만 아니라 3D 재구성 알고리즘이 잘못된 결과를 생성하도록 할 수도 있다. 우리는 이 시각적 명확화 작업을 이미지 쌍에 대한 이진 분류 작업으로 공식화하여 학습 기반 접근 방식을 제안한다. 이를 위해, 우리는 이 문제를 위한 새로운 데이터셋인 Doppelgangers를 소개한다. 이 데이터셋은 유사한 구조물의 이미지 쌍과 함께 정답 레이블을 포함한다. 또한, 우리는 지역 키포인트와 매칭의 공간적 분포를 입력으로 받아들이는 네트워크 아키텍처를 설계하여 지역적 및 전역적 단서에 대한 더 나은 추론을 가능하게 한다. 우리의 평가 결과, 우리의 방법은 어려운 경우에서도 환영적 매칭을 구별할 수 있으며, SfM 파이프라인에 통합되어 정확하고 명확화된 3D 재구성을 생성할 수 있음을 보여준다. 코드, 데이터셋 및 추가 결과는 프로젝트 페이지를 참조하라: http://doppelgangers-3d.github.io/.

English

We consider the visual disambiguation task of determining whether a pair of visually similar images depict the same or distinct 3D surfaces (e.g., the same or opposite sides of a symmetric building). Illusory image matches, where two images observe distinct but visually similar 3D surfaces, can be challenging for humans to differentiate, and can also lead 3D reconstruction algorithms to produce erroneous results. We propose a learning-based approach to visual disambiguation, formulating it as a binary classification task on image pairs. To that end, we introduce a new dataset for this problem, Doppelgangers, which includes image pairs of similar structures with ground truth labels. We also design a network architecture that takes the spatial distribution of local keypoints and matches as input, allowing for better reasoning about both local and global cues. Our evaluation shows that our method can distinguish illusory matches in difficult cases, and can be integrated into SfM pipelines to produce correct, disambiguated 3D reconstructions. See our project page for our code, datasets, and more results: http://doppelgangers-3d.github.io/.

도플갱어: 유사 구조 이미지의 모호성 해소 학습

Doppelgangers: Learning to Disambiguate Images of Similar Structures

초록

Support