NeRF-Det: 다중 뷰 3D 객체 탐지를 위한 기하학적 인식 체적 표현 학습

초록

우리는 포즈가 지정된 RGB 이미지를 입력으로 사용하여 실내 3D 검출을 위한 새로운 방법인 NeRF-Det를 제안합니다. 기존의 실내 3D 검출 방법들이 장면 기하학을 모델링하는 데 어려움을 겪는 반면, 우리의 방법은 NeRF를 종단 간 방식으로 활용하여 3D 기하학을 명시적으로 추정함으로써 3D 검출 성능을 향상시킵니다. 구체적으로, NeRF의 장면별 최적화와 관련된 상당한 추가 지연을 피하기 위해, 우리는 NeRF-MLP의 일반화 능력을 강화하기 위해 충분한 기하학적 사전 지식을 도입합니다. 더 나아가, 우리는 검출과 NeRF 분기를 공유 MLP를 통해 미묘하게 연결함으로써 NeRF가 검출에 효율적으로 적응할 수 있게 하고, 3D 검출을 위한 기하학 인식 볼륨 표현을 생성합니다. 우리의 방법은 ScanNet과 ARKITScenes 벤치마크에서 각각 3.9 mAP와 3.1 mAP로 최신 기술을 능가합니다. 우리는 NeRF-Det가 어떻게 작동하는지에 대한 광범위한 분석을 제공합니다. 우리의 공동 학습 설계의 결과로, NeRF-Det는 장면별 최적화 없이도 객체 검출, 뷰 합성, 깊이 추정 작업에서 보이지 않는 장면에 대해 잘 일반화할 수 있습니다. 코드는 https://github.com/facebookresearch/NeRF-Det에서 확인할 수 있습니다.

English

We present NeRF-Det, a novel method for indoor 3D detection with posed RGB images as input. Unlike existing indoor 3D detection methods that struggle to model scene geometry, our method makes novel use of NeRF in an end-to-end manner to explicitly estimate 3D geometry, thereby improving 3D detection performance. Specifically, to avoid the significant extra latency associated with per-scene optimization of NeRF, we introduce sufficient geometry priors to enhance the generalizability of NeRF-MLP. Furthermore, we subtly connect the detection and NeRF branches through a shared MLP, enabling an efficient adaptation of NeRF to detection and yielding geometry-aware volumetric representations for 3D detection. Our method outperforms state-of-the-arts by 3.9 mAP and 3.1 mAP on the ScanNet and ARKITScenes benchmarks, respectively. We provide extensive analysis to shed light on how NeRF-Det works. As a result of our joint-training design, NeRF-Det is able to generalize well to unseen scenes for object detection, view synthesis, and depth estimation tasks without requiring per-scene optimization. Code is available at https://github.com/facebookresearch/NeRF-Det.

NeRF-Det: 다중 뷰 3D 객체 탐지를 위한 기하학적 인식 체적 표현 학습

NeRF-Det: Learning Geometry-Aware Volumetric Representation for Multi-View 3D Object Detection

초록

Support