3DGS-DET: Усиление трехмерного гауссовского сплетения с руководством по границам и выборочной дискретизацией, сосредоточенной на областях, для обнаружения трехмерных объектов.

3DGS-DET: Empower 3D Gaussian Splatting with Boundary Guidance and Box-Focused Sampling for 3D Object Detection

October 2, 2024

Авторы: Yang Cao, Yuanliang Jv, Dan Xu

cs.AI

Аннотация

Нейронные поля радиантности (NeRF) широко используются для синтеза нового вида и были адаптированы для обнаружения 3D-объектов (3DOD), предлагая многообещающий подход к 3DOD через представление синтеза вида. Однако NeRF сталкивается с врожденными ограничениями: (i) ограниченная репрезентативная способность для 3DOD из-за своей неявной природы и (ii) медленные скорости визуализации. Недавно 3D гауссово слоение (3DGS) появилось как явное 3D-представление, которое решает эти ограничения. Вдохновленный этими преимуществами, данный документ впервые внедряет 3DGS в 3DOD, выделяя две основные проблемы: (i) Неоднозначное пространственное распределение гауссовских капель: 3DGS в основном зависит от 2D пиксельного управления, что приводит к неясному 3D пространственному распределению гауссовских капель и плохой дифференциации между объектами и фоном, что затрудняет 3DOD; (ii) Избыточные фоновые капли: 2D изображения часто включают множество фоновых пикселей, что приводит к плотно восстановленному 3DGS с множеством шумных гауссовских капель, представляющих фон, что негативно влияет на обнаружение. Чтобы решить проблему (i), мы используем тот факт, что восстановление 3DGS происходит из 2D изображений, и предлагаем элегантное и эффективное решение, интегрируя 2D руководство границами, чтобы значительно улучшить пространственное распределение гауссовских капель, что приводит к более ясной дифференциации между объектами и их фоном. Чтобы решить проблему (ii), мы предлагаем стратегию выборки с фокусом на коробки, используя 2D коробки для генерации вероятностного распределения объектов в 3D пространствах, что позволяет эффективную вероятностную выборку в 3D для сохранения большего количества объектных капель и уменьшения шумных фоновых капель. Благодаря нашим разработкам, наш 3DGS-DET значительно превосходит метод NeRF-Det, основанный на SOTA NeRF, достигая улучшений +6,6 на mAP@0,25 и +8,1 на mAP@0,5 для набора данных ScanNet, а также впечатляющих +31,5 на mAP@0,25 для набора данных ARKITScenes.

English

Neural Radiance Fields (NeRF) are widely used for novel-view synthesis and have been adapted for 3D Object Detection (3DOD), offering a promising approach to 3DOD through view-synthesis representation. However, NeRF faces inherent limitations: (i) limited representational capacity for 3DOD due to its implicit nature, and (ii) slow rendering speeds. Recently, 3D Gaussian Splatting (3DGS) has emerged as an explicit 3D representation that addresses these limitations. Inspired by these advantages, this paper introduces 3DGS into 3DOD for the first time, identifying two main challenges: (i) Ambiguous spatial distribution of Gaussian blobs: 3DGS primarily relies on 2D pixel-level supervision, resulting in unclear 3D spatial distribution of Gaussian blobs and poor differentiation between objects and background, which hinders 3DOD; (ii) Excessive background blobs: 2D images often include numerous background pixels, leading to densely reconstructed 3DGS with many noisy Gaussian blobs representing the background, negatively affecting detection. To tackle the challenge (i), we leverage the fact that 3DGS reconstruction is derived from 2D images, and propose an elegant and efficient solution by incorporating 2D Boundary Guidance to significantly enhance the spatial distribution of Gaussian blobs, resulting in clearer differentiation between objects and their background. To address the challenge (ii), we propose a Box-Focused Sampling strategy using 2D boxes to generate object probability distribution in 3D spaces, allowing effective probabilistic sampling in 3D to retain more object blobs and reduce noisy background blobs. Benefiting from our designs, our 3DGS-DET significantly outperforms the SOTA NeRF-based method, NeRF-Det, achieving improvements of +6.6 on [email protected] and +8.1 on [email protected] for the ScanNet dataset, and impressive +31.5 on [email protected] for the ARKITScenes dataset.