Élagage parcimonieux de voxels guidé par texte pour un ancrage visuel 3D efficace

Text-guided Sparse Voxel Pruning for Efficient 3D Visual Grounding

February 14, 2025

Auteurs: Wenxuan Guo, Xiuwei Xu, Ziwei Wang, Jianjiang Feng, Jie Zhou, Jiwen Lu

cs.AI

Résumé

Dans cet article, nous proposons une architecture de convolution multi-niveaux efficace pour l'ancrage visuel 3D. Les méthodes conventionnelles peinent à répondre aux exigences de l'inférence en temps réel en raison de leur architecture en deux étapes ou basée sur des points. Inspirés par le succès de l'architecture de convolution entièrement creuse multi-niveaux dans la détection d'objets 3D, nous visons à construire un nouveau cadre d'ancrage visuel 3D suivant cette voie technique. Cependant, dans la tâche d'ancrage visuel 3D, la représentation de la scène 3D doit interagir profondément avec les caractéristiques textuelles, ce qui rend l'architecture basée sur la convolution creuse inefficace pour cette interaction en raison de la grande quantité de caractéristiques voxel. Pour cela, nous proposons l'élagage guidé par le texte (TGP) et l'ajout basé sur la complétion (CBA) pour fusionner de manière efficace la représentation de la scène 3D et les caractéristiques textuelles par un élagage progressif des régions et une complétion ciblée. Plus précisément, le TGP itère pour sparsifier la représentation de la scène 3D et interagit ainsi efficacement les caractéristiques voxel avec les caractéristiques textuelles par attention croisée. Pour atténuer l'effet de l'élagage sur les informations géométriques délicates, le CBA corrige de manière adaptative la région sur-élaguée par complétion voxel avec une surcharge de calcul négligeable. Comparée aux méthodes à une seule étape précédentes, notre méthode atteint une vitesse d'inférence maximale et surpasse la méthode la plus rapide précédente de 100\% en FPS. Notre méthode atteint également une précision de pointe, même comparée aux méthodes en deux étapes, avec une avance de +1,13 en Acc@0,5 sur ScanRefer, et des avances de +2,6 et +3,2 sur NR3D et SR3D respectivement. Le code est disponible à l'adresse https://github.com/GWxuan/TSP3D{https://github.com/GWxuan/TSP3D}.

English

In this paper, we propose an efficient multi-level convolution architecture for 3D visual grounding. Conventional methods are difficult to meet the requirements of real-time inference due to the two-stage or point-based architecture. Inspired by the success of multi-level fully sparse convolutional architecture in 3D object detection, we aim to build a new 3D visual grounding framework following this technical route. However, as in 3D visual grounding task the 3D scene representation should be deeply interacted with text features, sparse convolution-based architecture is inefficient for this interaction due to the large amount of voxel features. To this end, we propose text-guided pruning (TGP) and completion-based addition (CBA) to deeply fuse 3D scene representation and text features in an efficient way by gradual region pruning and target completion. Specifically, TGP iteratively sparsifies the 3D scene representation and thus efficiently interacts the voxel features with text features by cross-attention. To mitigate the affect of pruning on delicate geometric information, CBA adaptively fixes the over-pruned region by voxel completion with negligible computational overhead. Compared with previous single-stage methods, our method achieves top inference speed and surpasses previous fastest method by 100\% FPS. Our method also achieves state-of-the-art accuracy even compared with two-stage methods, with +1.13 lead of [email protected] on ScanRefer, and +2.6 and +3.2 leads on NR3D and SR3D respectively. The code is available at https://github.com/GWxuan/TSP3D{https://github.com/GWxuan/TSP3D}.