Potatura Sparse Voxel Guidata da Testo per un Efficiente Grounding Visivo 3D

Text-guided Sparse Voxel Pruning for Efficient 3D Visual Grounding

February 14, 2025

Autori: Wenxuan Guo, Xiuwei Xu, Ziwei Wang, Jianjiang Feng, Jie Zhou, Jiwen Lu

cs.AI

Abstract

In questo articolo, proponiamo un'architettura di convoluzione multi-livello efficiente per il grounding visivo 3D. I metodi convenzionali faticano a soddisfare i requisiti di inferenza in tempo reale a causa dell'architettura a due stadi o basata su punti. Ispirati dal successo dell'architettura di convoluzione completamente sparsa multi-livello nella rilevazione di oggetti 3D, miriamo a costruire un nuovo framework per il grounding visivo 3D seguendo questa linea tecnica. Tuttavia, poiché nel task di grounding visivo 3D la rappresentazione della scena 3D deve interagire profondamente con le caratteristiche testuali, l'architettura basata su convoluzione sparsa risulta inefficiente per questa interazione a causa dell'elevata quantità di caratteristiche voxel. A tal fine, proponiamo il pruning guidato dal testo (TGP) e l'aggiunta basata sul completamento (CBA) per fondere in modo efficiente la rappresentazione della scena 3D e le caratteristiche testuali attraverso un pruning regionale graduale e un completamento del target. Nello specifico, il TGP sparsifica iterativamente la rappresentazione della scena 3D, interagendo così in modo efficiente con le caratteristiche voxel attraverso l'attenzione incrociata. Per mitigare l'effetto del pruning sulle informazioni geometriche delicate, il CBA corregge in modo adattivo la regione eccessivamente sparsificata completando i voxel con un overhead computazionale trascurabile. Rispetto ai precedenti metodi a singolo stadio, il nostro metodo raggiunge la massima velocità di inferenza, superando il metodo più veloce precedente del 100\% in termini di FPS. Il nostro metodo raggiunge anche un'accuratezza all'avanguardia, anche rispetto ai metodi a due stadi, con un vantaggio di +1,13 in Acc@0,5 su ScanRefer, e di +2,6 e +3,2 rispettivamente su NR3D e SR3D. Il codice è disponibile all'indirizzo https://github.com/GWxuan/TSP3D{https://github.com/GWxuan/TSP3D}.

English

In this paper, we propose an efficient multi-level convolution architecture for 3D visual grounding. Conventional methods are difficult to meet the requirements of real-time inference due to the two-stage or point-based architecture. Inspired by the success of multi-level fully sparse convolutional architecture in 3D object detection, we aim to build a new 3D visual grounding framework following this technical route. However, as in 3D visual grounding task the 3D scene representation should be deeply interacted with text features, sparse convolution-based architecture is inefficient for this interaction due to the large amount of voxel features. To this end, we propose text-guided pruning (TGP) and completion-based addition (CBA) to deeply fuse 3D scene representation and text features in an efficient way by gradual region pruning and target completion. Specifically, TGP iteratively sparsifies the 3D scene representation and thus efficiently interacts the voxel features with text features by cross-attention. To mitigate the affect of pruning on delicate geometric information, CBA adaptively fixes the over-pruned region by voxel completion with negligible computational overhead. Compared with previous single-stage methods, our method achieves top inference speed and surpasses previous fastest method by 100\% FPS. Our method also achieves state-of-the-art accuracy even compared with two-stage methods, with +1.13 lead of [email protected] on ScanRefer, and +2.6 and +3.2 leads on NR3D and SR3D respectively. The code is available at https://github.com/GWxuan/TSP3D{https://github.com/GWxuan/TSP3D}.