Textgesteuertes sparses Voxel-Pruning für effiziente 3D-Visual Grounding

Text-guided Sparse Voxel Pruning for Efficient 3D Visual Grounding

February 14, 2025

Autoren: Wenxuan Guo, Xiuwei Xu, Ziwei Wang, Jianjiang Feng, Jie Zhou, Jiwen Lu

cs.AI

Zusammenfassung

In diesem Artikel schlagen wir eine effiziente Multi-Level-Faltungsarchitektur für 3D-Visual-Grounding vor. Konventionelle Methoden können die Anforderungen an Echtzeit-Inferenz aufgrund ihrer Zwei-Stufen- oder punktbasierten Architektur nur schwer erfüllen. Inspiriert vom Erfolg der vollständig spärlichen Multi-Level-Faltungsarchitektur in der 3D-Objekterkennung, streben wir an, ein neues 3D-Visual-Grounding-Framework nach diesem technischen Ansatz zu entwickeln. Da jedoch bei der 3D-Visual-Grounding-Aufgabe die 3D-Szenendarstellung tiefgehend mit Textmerkmalen interagieren muss, ist die spärliche Faltungsarchitektur für diese Interaktion aufgrund der großen Menge an Voxel-Merkmalen ineffizient. Daher schlagen wir textgesteuertes Pruning (TGP) und komplettierungsbasierte Addition (CBA) vor, um die 3D-Szenendarstellung und Textmerkmale auf effiziente Weise durch schrittweises Regionen-Pruning und Zielkomplettierung tiefgehend zu fusionieren. Konkret sparsifiziert TGP die 3D-Szenendarstellung iterativ und ermöglicht so eine effiziente Interaktion der Voxel-Merkmale mit Textmerkmalen durch Cross-Attention. Um die Auswirkungen des Prunings auf feine geometrische Informationen zu mildern, korrigiert CBA die übermäßig beschnittenen Regionen durch Voxel-Komplettierung mit vernachlässigbarem Rechenaufwand. Im Vergleich zu früheren Single-Stage-Methoden erreicht unsere Methode die höchste Inferenzgeschwindigkeit und übertrifft die bisher schnellste Methode um 100\% FPS. Unsere Methode erreicht auch die state-of-the-art Genauigkeit, selbst im Vergleich zu Zwei-Stufen-Methoden, mit einem Vorsprung von +1,13 bei Acc@0,5 auf ScanRefer sowie +2,6 und +3,2 auf NR3D bzw. SR3D. Der Code ist verfügbar unter https://github.com/GWxuan/TSP3D{https://github.com/GWxuan/TSP3D}.

English

In this paper, we propose an efficient multi-level convolution architecture for 3D visual grounding. Conventional methods are difficult to meet the requirements of real-time inference due to the two-stage or point-based architecture. Inspired by the success of multi-level fully sparse convolutional architecture in 3D object detection, we aim to build a new 3D visual grounding framework following this technical route. However, as in 3D visual grounding task the 3D scene representation should be deeply interacted with text features, sparse convolution-based architecture is inefficient for this interaction due to the large amount of voxel features. To this end, we propose text-guided pruning (TGP) and completion-based addition (CBA) to deeply fuse 3D scene representation and text features in an efficient way by gradual region pruning and target completion. Specifically, TGP iteratively sparsifies the 3D scene representation and thus efficiently interacts the voxel features with text features by cross-attention. To mitigate the affect of pruning on delicate geometric information, CBA adaptively fixes the over-pruned region by voxel completion with negligible computational overhead. Compared with previous single-stage methods, our method achieves top inference speed and surpasses previous fastest method by 100\% FPS. Our method also achieves state-of-the-art accuracy even compared with two-stage methods, with +1.13 lead of [email protected] on ScanRefer, and +2.6 and +3.2 leads on NR3D and SR3D respectively. The code is available at https://github.com/GWxuan/TSP3D{https://github.com/GWxuan/TSP3D}.