NAVI: 카테고리 독립적인 고품질 3D 형태 및 포즈 주석이 포함된 이미지 컬렉션
NAVI: Category-Agnostic Image Collections with High-Quality 3D Shape and Pose Annotations
June 15, 2023
저자: Varun Jampani, Kevis-Kokitsi Maninis, Andreas Engelhardt, Arjun Karpur, Karen Truong, Kyle Sargent, Stefan Popov, André Araujo, Ricardo Martin-Brualla, Kaushal Patel, Daniel Vlasic, Vittorio Ferrari, Ameesh Makadia, Ce Liu, Yuanzhen Li, Howard Zhou
cs.AI
초록
최근 신경망 기반 3D 재구성 기술의 발전으로, 일상적으로 촬영된 이미지 컬렉션에서도 고품질의 3D 객체 재구성이 가능해졌다. 현재의 기술들은 주로 Structure-from-Motion(SfM) 기법을 통해 정확한 카메라 포즈(GT)를 제공할 수 있는 비교적 단순한 이미지 컬렉션에서의 진전을 분석하고 있다. 그러나 SfM 기법은 다양한 배경과 조명 조건을 가진 이미지 검색 결과와 같은 실제 환경의 이미지 컬렉션에서는 실패하는 경향이 있다. 일상적인 이미지 캡처에서의 3D 재구성 연구를 체계적으로 진행하기 위해, 우리는 NAVI라는 새로운 데이터셋을 제안한다. NAVI는 카테고리와 무관한 객체의 이미지 컬렉션으로, 고품질의 3D 스캔과 함께 이미지별 2D-3D 정렬을 제공하여 거의 완벽한 GT 카메라 파라미터를 제공한다. 이러한 2D-3D 정렬을 통해 밀집 픽셀 대응, 깊이 및 세그멘테이션 맵과 같은 정확한 파생 주석을 추출할 수 있다. 우리는 NAVI 이미지 컬렉션을 다양한 문제 설정에서 사용하는 방법을 보여주며, NAVI가 기존 데이터셋으로는 불가능했던 보다 철저한 평가를 가능하게 한다는 것을 입증한다. 우리는 NAVI가 3D 재구성 및 대응 추정 연구의 체계적인 진전에 기여할 것이라고 믿는다. 프로젝트 페이지: https://navidataset.github.io
English
Recent advances in neural reconstruction enable high-quality 3D object
reconstruction from casually captured image collections. Current techniques
mostly analyze their progress on relatively simple image collections where
Structure-from-Motion (SfM) techniques can provide ground-truth (GT) camera
poses. We note that SfM techniques tend to fail on in-the-wild image
collections such as image search results with varying backgrounds and
illuminations. To enable systematic research progress on 3D reconstruction from
casual image captures, we propose NAVI: a new dataset of category-agnostic
image collections of objects with high-quality 3D scans along with per-image
2D-3D alignments providing near-perfect GT camera parameters. These 2D-3D
alignments allow us to extract accurate derivative annotations such as dense
pixel correspondences, depth and segmentation maps. We demonstrate the use of
NAVI image collections on different problem settings and show that NAVI enables
more thorough evaluations that were not possible with existing datasets. We
believe NAVI is beneficial for systematic research progress on 3D
reconstruction and correspondence estimation. Project page:
https://navidataset.github.io