Разреженная обрезка вокселей под руководством текста для эффективного привязывания трехмерных визуальных объектов.

Text-guided Sparse Voxel Pruning for Efficient 3D Visual Grounding

February 14, 2025

Авторы: Wenxuan Guo, Xiuwei Xu, Ziwei Wang, Jianjiang Feng, Jie Zhou, Jiwen Lu

cs.AI

Аннотация

В данной статье мы предлагаем эффективную многоуровневую архитектуру свертки для трехмерной визуальной привязки. Традиционные методы затрудняют обеспечение требований реального времени вывода из-за двухэтапной или точечной архитектуры. Вдохновленные успехом многоуровневой полностью разреженной сверточной архитектуры в обнаружении трехмерных объектов, мы стремимся построить новую рамочную структуру трехмерной визуальной привязки, следуя этому техническому пути. Однако, поскольку в задаче трехмерной визуальной привязки трехмерное представление сцены должно глубоко взаимодействовать с текстовыми характеристиками, архитектура на основе разреженной свертки неэффективна для этого взаимодействия из-за большого количества признаков вокселей. Для этого мы предлагаем обрезку, направляемую текстом (TGP) и дополнение на основе завершения (CBA) для глубокого слияния трехмерного представления сцены и текстовых характеристик эффективным способом путем поэтапной обрезки области и завершения цели. Конкретно, TGP итеративно разреживает трехмерное представление сцены и таким образом эффективно взаимодействует признаки вокселей с текстовыми характеристиками с помощью кросс-внимания. Для смягчения влияния обрезки на тонкую геометрическую информацию, CBA адаптивно исправляет перерезанную область путем завершения вокселями с незначительными вычислительными затратами. По сравнению с предыдущими одноэтапными методами, наш метод достигает лучшей скорости вывода и превосходит предыдущий самый быстрый метод на 100\% кадров в секунду. Наш метод также достигает передовой точности даже по сравнению с двухэтапными методами, с преимуществом в +1.13 по [email protected] на ScanRefer, и преимуществом в +2.6 и +3.2 на NR3D и SR3D соответственно. Код доступен по ссылке https://github.com/GWxuan/TSP3D.

English

In this paper, we propose an efficient multi-level convolution architecture for 3D visual grounding. Conventional methods are difficult to meet the requirements of real-time inference due to the two-stage or point-based architecture. Inspired by the success of multi-level fully sparse convolutional architecture in 3D object detection, we aim to build a new 3D visual grounding framework following this technical route. However, as in 3D visual grounding task the 3D scene representation should be deeply interacted with text features, sparse convolution-based architecture is inefficient for this interaction due to the large amount of voxel features. To this end, we propose text-guided pruning (TGP) and completion-based addition (CBA) to deeply fuse 3D scene representation and text features in an efficient way by gradual region pruning and target completion. Specifically, TGP iteratively sparsifies the 3D scene representation and thus efficiently interacts the voxel features with text features by cross-attention. To mitigate the affect of pruning on delicate geometric information, CBA adaptively fixes the over-pruned region by voxel completion with negligible computational overhead. Compared with previous single-stage methods, our method achieves top inference speed and surpasses previous fastest method by 100\% FPS. Our method also achieves state-of-the-art accuracy even compared with two-stage methods, with +1.13 lead of [email protected] on ScanRefer, and +2.6 and +3.2 leads on NR3D and SR3D respectively. The code is available at https://github.com/GWxuan/TSP3D{https://github.com/GWxuan/TSP3D}.