Исследование потенциала архитектур без кодировщика в трехмерных LMMs

Exploring the Potential of Encoder-free Architectures in 3D LMMs

February 13, 2025

Авторы: Yiwen Tang, Zoey Guo, Zhuhao Wang, Ray Zhang, Qizhi Chen, Junli Liu, Delin Qu, Zhigang Wang, Dong Wang, Xuelong Li, Bin Zhao

cs.AI

Аннотация

Архитектуры без кодировщика были предварительно исследованы в визуальной области 2D, однако остается открытым вопрос, могут ли они быть эффективно применены в сценариях понимания 3D. В данной статье мы представляем первое всестороннее исследование потенциала архитектур без кодировщика для преодоления вызовов, связанных с 3D Большими Мультимодальными Моделями (LMMs) на основе кодировщика. Эти вызовы включают невозможность адаптации к различным разрешениям облаков точек и недостаточное соответствие точечных признаков от кодировщика семантическим потребностям Больших Языковых Моделей (LLMs). Мы выявляем ключевые аспекты для 3D LMMs для удаления кодировщика и позволяем LLM занять место 3D кодировщика: 1) Мы предлагаем стратегию Семантического Кодирования с внедренным LLM на этапе предварительного обучения, исследуя эффекты различных потерь самонадзора для облаков точек. И мы представляем Гибридную Семантическую Потерю для извлечения высокоуровневой семантики. 2) Мы вводим стратегию Иерархической Геометрической Агрегации на этапе настройки инструкций. Это включает индуктивный биас в ранние слои LLM для фокусировки на локальных деталях облаков точек. В конечном итоге мы представляем первую 3D LMM без кодировщика, ENEL. Наша модель 7B не уступает текущей передовой модели, ShapeLLM-13B, достигая 55,0%, 50,92% и 42,7% по задачам классификации, подписывания и VQA соответственно. Наши результаты демонстрируют, что архитектура без кодировщика обещает заменить архитектуры на основе кодировщика в области понимания 3D. Код доступен по ссылке https://github.com/Ivan-Tang-3D/ENEL

English

Encoder-free architectures have been preliminarily explored in the 2D visual domain, yet it remains an open question whether they can be effectively applied to 3D understanding scenarios. In this paper, we present the first comprehensive investigation into the potential of encoder-free architectures to overcome the challenges of encoder-based 3D Large Multimodal Models (LMMs). These challenges include the failure to adapt to varying point cloud resolutions and the point features from the encoder not meeting the semantic needs of Large Language Models (LLMs). We identify key aspects for 3D LMMs to remove the encoder and enable the LLM to assume the role of the 3D encoder: 1) We propose the LLM-embedded Semantic Encoding strategy in the pre-training stage, exploring the effects of various point cloud self-supervised losses. And we present the Hybrid Semantic Loss to extract high-level semantics. 2) We introduce the Hierarchical Geometry Aggregation strategy in the instruction tuning stage. This incorporates inductive bias into the LLM early layers to focus on the local details of the point clouds. To the end, we present the first Encoder-free 3D LMM, ENEL. Our 7B model rivals the current state-of-the-art model, ShapeLLM-13B, achieving 55.0%, 50.92%, and 42.7% on the classification, captioning, and VQA tasks, respectively. Our results demonstrate that the encoder-free architecture is highly promising for replacing encoder-based architectures in the field of 3D understanding. The code is released at https://github.com/Ivan-Tang-3D/ENEL