NeRF-Det: マルチビュー3D物体検出のための幾何学を考慮したボリューム表現の学習

要旨

本研究では、姿勢付きRGB画像を入力とする屋内3D検出のための新規手法NeRF-Detを提案する。既存の屋内3D検出手法はシーン幾何学のモデリングに苦慮しているが、本手法ではNeRFをエンドツーエンドで活用し、3D幾何学を明示的に推定することで3D検出性能を向上させる。具体的には、NeRFのシーンごとの最適化に伴う大幅な遅延を回避するため、十分な幾何学事前情報を導入してNeRF-MLPの汎化性能を強化する。さらに、検出ブランチとNeRFブランチを共有MLPを通じて巧妙に接続し、NeRFの検出への効率的な適応を可能にするとともに、3D検出のための幾何学を考慮したボリューム表現を実現する。本手法は、ScanNetおよびARKITScenesベンチマークにおいて、それぞれ3.9 mAPおよび3.1 mAPで最先端の性能を上回る。NeRF-Detの動作原理を明らかにするため、詳細な分析を提供する。本手法の共同学習設計により、NeRF-Detはシーンごとの最適化を必要とせず、未見のシーンに対する物体検出、ビュー合成、深度推定タスクにおいて優れた汎化性能を発揮する。コードはhttps://github.com/facebookresearch/NeRF-Detで公開されている。

English

We present NeRF-Det, a novel method for indoor 3D detection with posed RGB images as input. Unlike existing indoor 3D detection methods that struggle to model scene geometry, our method makes novel use of NeRF in an end-to-end manner to explicitly estimate 3D geometry, thereby improving 3D detection performance. Specifically, to avoid the significant extra latency associated with per-scene optimization of NeRF, we introduce sufficient geometry priors to enhance the generalizability of NeRF-MLP. Furthermore, we subtly connect the detection and NeRF branches through a shared MLP, enabling an efficient adaptation of NeRF to detection and yielding geometry-aware volumetric representations for 3D detection. Our method outperforms state-of-the-arts by 3.9 mAP and 3.1 mAP on the ScanNet and ARKITScenes benchmarks, respectively. We provide extensive analysis to shed light on how NeRF-Det works. As a result of our joint-training design, NeRF-Det is able to generalize well to unseen scenes for object detection, view synthesis, and depth estimation tasks without requiring per-scene optimization. Code is available at https://github.com/facebookresearch/NeRF-Det.

NeRF-Det: マルチビュー3D物体検出のための幾何学を考慮したボリューム表現の学習

NeRF-Det: Learning Geometry-Aware Volumetric Representation for Multi-View 3D Object Detection

要旨

Support