Explorando o Potencial de Arquiteturas sem Codificador em Modelos de Linguagem 3D.

Exploring the Potential of Encoder-free Architectures in 3D LMMs

February 13, 2025

Autores: Yiwen Tang, Zoey Guo, Zhuhao Wang, Ray Zhang, Qizhi Chen, Junli Liu, Delin Qu, Zhigang Wang, Dong Wang, Xuelong Li, Bin Zhao

cs.AI

Resumo

Arquiteturas sem codificador foram exploradas preliminarmente no domínio visual 2D, no entanto, permanece uma questão em aberto se elas podem ser aplicadas de forma eficaz em cenários de compreensão 3D. Neste artigo, apresentamos a primeira investigação abrangente sobre o potencial de arquiteturas sem codificador para superar os desafios dos Grandes Modelos Multimodais 3D (LMMs) baseados em codificador. Esses desafios incluem a falha em se adaptar a resoluções variadas de nuvens de pontos e as características dos pontos do codificador que não atendem às necessidades semânticas dos Grandes Modelos de Linguagem (LLMs). Identificamos aspectos-chave para os LMMs 3D removerem o codificador e permitirem que o LLM assuma o papel do codificador 3D: 1) Propomos a estratégia de Codificação Semântica incorporada ao LLM na fase de pré-treinamento, explorando os efeitos de várias perdas auto-supervisionadas de nuvem de pontos. E apresentamos a Perda Semântica Híbrida para extrair semântica de alto nível. 2) Introduzimos a estratégia de Agregação Geométrica Hierárquica na fase de ajuste de instruções. Isso incorpora viés indutivo nas camadas iniciais do LLM para focar nos detalhes locais das nuvens de pontos. Por fim, apresentamos o primeiro LMM 3D sem codificador, ENEL. Nosso modelo de 7B rivaliza com o modelo atual de ponta, ShapeLLM-13B, alcançando 55,0%, 50,92% e 42,7% nas tarefas de classificação, legenda e VQA, respectivamente. Nossos resultados demonstram que a arquitetura sem codificador é altamente promissora para substituir arquiteturas baseadas em codificador no campo da compreensão 3D. O código está disponível em https://github.com/Ivan-Tang-3D/ENEL

English

Encoder-free architectures have been preliminarily explored in the 2D visual domain, yet it remains an open question whether they can be effectively applied to 3D understanding scenarios. In this paper, we present the first comprehensive investigation into the potential of encoder-free architectures to overcome the challenges of encoder-based 3D Large Multimodal Models (LMMs). These challenges include the failure to adapt to varying point cloud resolutions and the point features from the encoder not meeting the semantic needs of Large Language Models (LLMs). We identify key aspects for 3D LMMs to remove the encoder and enable the LLM to assume the role of the 3D encoder: 1) We propose the LLM-embedded Semantic Encoding strategy in the pre-training stage, exploring the effects of various point cloud self-supervised losses. And we present the Hybrid Semantic Loss to extract high-level semantics. 2) We introduce the Hierarchical Geometry Aggregation strategy in the instruction tuning stage. This incorporates inductive bias into the LLM early layers to focus on the local details of the point clouds. To the end, we present the first Encoder-free 3D LMM, ENEL. Our 7B model rivals the current state-of-the-art model, ShapeLLM-13B, achieving 55.0%, 50.92%, and 42.7% on the classification, captioning, and VQA tasks, respectively. Our results demonstrate that the encoder-free architecture is highly promising for replacing encoder-based architectures in the field of 3D understanding. The code is released at https://github.com/Ivan-Tang-3D/ENEL