3DGS-DET：3Dオブジェクト検出のための境界ガイダンスとボックスに焦点を当てたサンプリングで3Dガウススプラッティングを強化

3DGS-DET: Empower 3D Gaussian Splatting with Boundary Guidance and Box-Focused Sampling for 3D Object Detection

October 2, 2024

著者: Yang Cao, Yuanliang Jv, Dan Xu

cs.AI

要旨

ニューラル・ラディアンス・フィールド（NeRF）は、新しい視点合成に広く使用されており、3D物体検出（3DOD）に適応され、視点合成表現を通じた3DODへの有望なアプローチを提供しています。ただし、NeRFは固有の制限に直面しています：（i）暗黙的な性質に起因する3DOD向けの表現能力の制限、および（ii）レンダリング速度の遅さ。最近、3Dガウススプラッティング（3DGS）がこれらの制限に対処する明示的な3D表現として登場しました。これらの利点に着想を得て、本論文では、3DGSを初めて3DODに導入し、次の2つの主要な課題を特定しています：（i）ガウスブロブの曖昧な空間分布：3DGSは主に2Dピクセルレベルの監督に依存しており、ガウスブロブの3D空間分布が不明瞭であり、オブジェクトと背景の区別が不十分であり、3DODを妨げています；（ii）過剰な背景ブロブ：2D画像にはしばしば多くの背景ピクセルが含まれており、多くのノイズのあるガウスブロブを背景を表すように密集して再構築される3DGSが導入され、検出に悪影響を及ぼしています。課題（i）に対処するために、3DGSの再構築が2D画像から派生しているという事実を活用し、2D境界ガイダンスを組み込むことで、ガウスブロブの空間分布を著しく向上させ、オブジェクトとその背景との明確な区別を実現するエレガントで効率的な解決策を提案します。課題（ii）に対処するために、2Dボックスを使用したボックス重点サンプリング戦略を提案し、3D空間でのオブジェクト確率分布を生成し、3Dでの効果的な確率サンプリングを可能にし、より多くのオブジェクトブロブを保持し、ノイズの多い背景ブロブを減らします。私たちの設計の恩恵を受けて、当社の3DGS-DETは、SOTA NeRFベースの手法であるNeRF-Detを大幅に上回り、ScanNetデータセットにおいて[email protected]で+6.6、[email protected]で+8.1の改善を達成し、ARKITScenesデータセットにおいて[email protected]で驚異的な+31.5の改善を達成しています。

English

Neural Radiance Fields (NeRF) are widely used for novel-view synthesis and have been adapted for 3D Object Detection (3DOD), offering a promising approach to 3DOD through view-synthesis representation. However, NeRF faces inherent limitations: (i) limited representational capacity for 3DOD due to its implicit nature, and (ii) slow rendering speeds. Recently, 3D Gaussian Splatting (3DGS) has emerged as an explicit 3D representation that addresses these limitations. Inspired by these advantages, this paper introduces 3DGS into 3DOD for the first time, identifying two main challenges: (i) Ambiguous spatial distribution of Gaussian blobs: 3DGS primarily relies on 2D pixel-level supervision, resulting in unclear 3D spatial distribution of Gaussian blobs and poor differentiation between objects and background, which hinders 3DOD; (ii) Excessive background blobs: 2D images often include numerous background pixels, leading to densely reconstructed 3DGS with many noisy Gaussian blobs representing the background, negatively affecting detection. To tackle the challenge (i), we leverage the fact that 3DGS reconstruction is derived from 2D images, and propose an elegant and efficient solution by incorporating 2D Boundary Guidance to significantly enhance the spatial distribution of Gaussian blobs, resulting in clearer differentiation between objects and their background. To address the challenge (ii), we propose a Box-Focused Sampling strategy using 2D boxes to generate object probability distribution in 3D spaces, allowing effective probabilistic sampling in 3D to retain more object blobs and reduce noisy background blobs. Benefiting from our designs, our 3DGS-DET significantly outperforms the SOTA NeRF-based method, NeRF-Det, achieving improvements of +6.6 on [email protected] and +8.1 on [email protected] for the ScanNet dataset, and impressive +31.5 on [email protected] for the ARKITScenes dataset.