3DGS-DET: Potenciar la Sobreimpresión Gaussiana 3D con Orientación de Límites y Muestreo Centrado en Cajas para la Detección de Objetos 3D

3DGS-DET: Empower 3D Gaussian Splatting with Boundary Guidance and Box-Focused Sampling for 3D Object Detection

October 2, 2024

Autores: Yang Cao, Yuanliang Jv, Dan Xu

cs.AI

Resumen

Los Campos de Radiancia Neurales (NeRF) son ampliamente utilizados para la síntesis de vistas novedosas y han sido adaptados para la Detección de Objetos en 3D (3DOD), ofreciendo un enfoque prometedor para la 3DOD a través de la representación de síntesis de vistas. Sin embargo, NeRF enfrenta limitaciones inherentes: (i) capacidad representativa limitada para 3DOD debido a su naturaleza implícita, y (ii) velocidades de renderizado lentas. Recientemente, el Splatting Gaussiano en 3D (3DGS) ha surgido como una representación explícita en 3D que aborda estas limitaciones. Inspirado por estas ventajas, este documento introduce por primera vez 3DGS en 3DOD, identificando dos desafíos principales: (i) Distribución espacial ambigua de manchas gaussianas: 3DGS se basa principalmente en la supervisión a nivel de píxeles 2D, lo que resulta en una distribución espacial 3D poco clara de las manchas gaussianas y una diferenciación deficiente entre objetos y fondo, lo que dificulta la 3DOD; (ii) Manchas de fondo excesivas: las imágenes 2D a menudo incluyen numerosos píxeles de fondo, lo que conduce a una reconstrucción densamente poblada en 3DGS con muchas manchas gaussianas ruidosas que representan el fondo, afectando negativamente la detección. Para abordar el desafío (i), aprovechamos el hecho de que la reconstrucción de 3DGS se deriva de imágenes 2D, y proponemos una solución elegante y eficiente incorporando una Guía de Límites 2D para mejorar significativamente la distribución espacial de las manchas gaussianas, lo que resulta en una diferenciación más clara entre objetos y su fondo. Para abordar el desafío (ii), proponemos una estrategia de Muestreo Centrado en Cajas utilizando cajas 2D para generar una distribución de probabilidad de objetos en espacios 3D, permitiendo un muestreo probabilístico efectivo en 3D para retener más manchas de objetos y reducir las manchas de fondo ruidosas. Beneficiándose de nuestros diseños, nuestro 3DGS-DET supera significativamente al método NeRF basado en el estado del arte, NeRF-Det, logrando mejoras de +6.6 en [email protected] y +8.1 en [email protected] para el conjunto de datos ScanNet, e impresionantes +31.5 en [email protected] para el conjunto de datos ARKITScenes.

English

Neural Radiance Fields (NeRF) are widely used for novel-view synthesis and have been adapted for 3D Object Detection (3DOD), offering a promising approach to 3DOD through view-synthesis representation. However, NeRF faces inherent limitations: (i) limited representational capacity for 3DOD due to its implicit nature, and (ii) slow rendering speeds. Recently, 3D Gaussian Splatting (3DGS) has emerged as an explicit 3D representation that addresses these limitations. Inspired by these advantages, this paper introduces 3DGS into 3DOD for the first time, identifying two main challenges: (i) Ambiguous spatial distribution of Gaussian blobs: 3DGS primarily relies on 2D pixel-level supervision, resulting in unclear 3D spatial distribution of Gaussian blobs and poor differentiation between objects and background, which hinders 3DOD; (ii) Excessive background blobs: 2D images often include numerous background pixels, leading to densely reconstructed 3DGS with many noisy Gaussian blobs representing the background, negatively affecting detection. To tackle the challenge (i), we leverage the fact that 3DGS reconstruction is derived from 2D images, and propose an elegant and efficient solution by incorporating 2D Boundary Guidance to significantly enhance the spatial distribution of Gaussian blobs, resulting in clearer differentiation between objects and their background. To address the challenge (ii), we propose a Box-Focused Sampling strategy using 2D boxes to generate object probability distribution in 3D spaces, allowing effective probabilistic sampling in 3D to retain more object blobs and reduce noisy background blobs. Benefiting from our designs, our 3DGS-DET significantly outperforms the SOTA NeRF-based method, NeRF-Det, achieving improvements of +6.6 on [email protected] and +8.1 on [email protected] for the ScanNet dataset, and impressive +31.5 on [email protected] for the ARKITScenes dataset.