Esplorare il Potenziale delle Architetture Senza Codificatore nei Modelli di Linguaggio 3D

Exploring the Potential of Encoder-free Architectures in 3D LMMs

February 13, 2025

Autori: Yiwen Tang, Zoey Guo, Zhuhao Wang, Ray Zhang, Qizhi Chen, Junli Liu, Delin Qu, Zhigang Wang, Dong Wang, Xuelong Li, Bin Zhao

cs.AI

Abstract

Le architetture senza encoder sono state esplorate preliminarmente nel dominio visivo 2D, tuttavia rimane aperta la questione se possano essere applicate efficacemente a scenari di comprensione 3D. In questo articolo, presentiamo la prima indagine esaustiva sul potenziale delle architetture senza encoder per superare le sfide dei Grandi Modelli Multimodali (LMM) 3D basati su encoder. Queste sfide includono l'incapacità di adattarsi a risoluzioni variabili di nuvole di punti e il fatto che le caratteristiche dei punti dall'encoder non soddisfino le esigenze semantiche dei Grandi Modelli Linguistici (LLM). Identifichiamo gli aspetti chiave per i LMM 3D per rimuovere l'encoder e consentire al LLM di assumere il ruolo dell'encoder 3D: 1) Proponiamo la strategia di Codifica Semantica incorporata nel LLM nella fase di pre-training, esplorando gli effetti di varie perdite auto-supervisionate delle nuvole di punti. E presentiamo la Perdita Semantica Ibrida per estrarre semantica di alto livello. 2) Introduciamo la strategia di Aggregazione Geometrica Gerarchica nella fase di sintonizzazione dell'istruzione. Questo incorpora un bias induttivo nei primi strati del LLM per concentrarsi sui dettagli locali delle nuvole di punti. Infine, presentiamo il primo LMM 3D senza encoder, ENEL. Il nostro modello 7B è paragonabile al modello all'avanguardia attuale, ShapeLLM-13B, raggiungendo rispettivamente il 55,0%, il 50,92% e il 42,7% nelle attività di classificazione, didascalia e VQA. I nostri risultati dimostrano che l'architettura senza encoder è molto promettente per sostituire le architetture basate su encoder nel campo della comprensione 3D. Il codice è disponibile su https://github.com/Ivan-Tang-3D/ENEL

English

Encoder-free architectures have been preliminarily explored in the 2D visual domain, yet it remains an open question whether they can be effectively applied to 3D understanding scenarios. In this paper, we present the first comprehensive investigation into the potential of encoder-free architectures to overcome the challenges of encoder-based 3D Large Multimodal Models (LMMs). These challenges include the failure to adapt to varying point cloud resolutions and the point features from the encoder not meeting the semantic needs of Large Language Models (LLMs). We identify key aspects for 3D LMMs to remove the encoder and enable the LLM to assume the role of the 3D encoder: 1) We propose the LLM-embedded Semantic Encoding strategy in the pre-training stage, exploring the effects of various point cloud self-supervised losses. And we present the Hybrid Semantic Loss to extract high-level semantics. 2) We introduce the Hierarchical Geometry Aggregation strategy in the instruction tuning stage. This incorporates inductive bias into the LLM early layers to focus on the local details of the point clouds. To the end, we present the first Encoder-free 3D LMM, ENEL. Our 7B model rivals the current state-of-the-art model, ShapeLLM-13B, achieving 55.0%, 50.92%, and 42.7% on the classification, captioning, and VQA tasks, respectively. Our results demonstrate that the encoder-free architecture is highly promising for replacing encoder-based architectures in the field of 3D understanding. The code is released at https://github.com/Ivan-Tang-3D/ENEL