Tekstgestuurde Sparse Voxel Snoei voor Efficiënte 3D Visuele Verankering

Text-guided Sparse Voxel Pruning for Efficient 3D Visual Grounding

February 14, 2025

Auteurs: Wenxuan Guo, Xiuwei Xu, Ziwei Wang, Jianjiang Feng, Jie Zhou, Jiwen Lu

cs.AI

Samenvatting

In dit artikel stellen we een efficiënte multi-level convolutiearchitectuur voor voor 3D visuele gronding. Conventionele methoden hebben moeite om te voldoen aan de eisen van real-time inferentie vanwege de twee-fase of puntgebaseerde architectuur. Geïnspireerd door het succes van de volledig sparse convolutiearchitectuur op meerdere niveaus in 3D objectdetectie, streven we ernaar om een nieuw 3D visueel grondingsframework te bouwen volgens deze technische route. Echter, aangezien in de 3D visuele grondingstaak de 3D scène-representatie diep moet interageren met tekstkenmerken, is de sparse convolutiegebaseerde architectuur inefficiënt voor deze interactie vanwege de grote hoeveelheid voxelkenmerken. Daarom stellen we tekstgeleid snoeien (TGP) en voltooiingsgebaseerde toevoeging (CBA) voor om de 3D scène-representatie en tekstkenmerken op een efficiënte manier diep te integreren door geleidelijke regiosnoei en doelvoltooiing. Specifiek sparsificeert TGP iteratief de 3D scène-representatie en interageert zo efficiënt de voxelkenmerken met tekstkenmerken via cross-attentie. Om het effect van snoeien op delicate geometrische informatie te verzachten, herstelt CBA adaptief het overgesnoeide gebied door voxelvoltooiing met verwaarloosbare rekenkosten. Vergeleken met eerdere enkelfasemethoden behaalt onze methode de hoogste inferentiesnelheid en overtreft de vorige snelste methode met 100\% FPS. Onze methode behaalt ook state-of-the-art nauwkeurigheid, zelfs vergeleken met twee-fasemethoden, met een voorsprong van +1,13 op Acc@0,5 op ScanRefer, en +2,6 en +3,2 op NR3D en SR3D respectievelijk. De code is beschikbaar op https://github.com/GWxuan/TSP3D{https://github.com/GWxuan/TSP3D}.

English

In this paper, we propose an efficient multi-level convolution architecture for 3D visual grounding. Conventional methods are difficult to meet the requirements of real-time inference due to the two-stage or point-based architecture. Inspired by the success of multi-level fully sparse convolutional architecture in 3D object detection, we aim to build a new 3D visual grounding framework following this technical route. However, as in 3D visual grounding task the 3D scene representation should be deeply interacted with text features, sparse convolution-based architecture is inefficient for this interaction due to the large amount of voxel features. To this end, we propose text-guided pruning (TGP) and completion-based addition (CBA) to deeply fuse 3D scene representation and text features in an efficient way by gradual region pruning and target completion. Specifically, TGP iteratively sparsifies the 3D scene representation and thus efficiently interacts the voxel features with text features by cross-attention. To mitigate the affect of pruning on delicate geometric information, CBA adaptively fixes the over-pruned region by voxel completion with negligible computational overhead. Compared with previous single-stage methods, our method achieves top inference speed and surpasses previous fastest method by 100\% FPS. Our method also achieves state-of-the-art accuracy even compared with two-stage methods, with +1.13 lead of [email protected] on ScanRefer, and +2.6 and +3.2 leads on NR3D and SR3D respectively. The code is available at https://github.com/GWxuan/TSP3D{https://github.com/GWxuan/TSP3D}.