Het verkennen van het potentieel van encoder-vrije architecturen in 3D LMM's.

Exploring the Potential of Encoder-free Architectures in 3D LMMs

February 13, 2025

Auteurs: Yiwen Tang, Zoey Guo, Zhuhao Wang, Ray Zhang, Qizhi Chen, Junli Liu, Delin Qu, Zhigang Wang, Dong Wang, Xuelong Li, Bin Zhao

cs.AI

Samenvatting

Encoder-vrije architecturen zijn voorlopig verkend in het 2D visuele domein, maar het blijft een open vraag of ze effectief kunnen worden toegepast op 3D begripsscenario's. In dit artikel presenteren we het eerste uitgebreide onderzoek naar het potentieel van encoder-vrije architecturen om de uitdagingen van op encoders gebaseerde 3D Grote Multimodale Modellen (LMM's) te overwinnen. Deze uitdagingen omvatten het falen om zich aan te passen aan variërende resoluties van puntenwolken en de puntkenmerken van de encoder die niet voldoen aan de semantische behoeften van Grote Taalmodellen (LLM's). We identificeren belangrijke aspecten voor 3D LMM's om de encoder te verwijderen en het LLM in staat te stellen de rol van de 3D-encoder op zich te nemen: 1) We stellen de LLM-ingebedde Semantische Coderingsstrategie voor in de pre-trainingsfase, waarbij de effecten van verschillende zelf-supervised verliezen van puntenwolken worden onderzocht. En we presenteren de Hybride Semantische Verliesfunctie om hoog-niveau semantiek te extraheren. 2) We introduceren de Hiërarchische Geometrie Aggregatiestrategie in de instructie-afstemmingsfase. Dit omvat inductieve bias in de vroege lagen van het LLM om zich te concentreren op de lokale details van de puntenwolken. Tot slot presenteren we het eerste Encoder-vrije 3D LMM, ENEL. Ons 7B model evenaart het huidige state-of-the-art model, ShapeLLM-13B, met respectievelijk 55,0%, 50,92% en 42,7% op de classificatie-, bijschrift- en VQA-taken. Onze resultaten tonen aan dat de encoder-vrije architectuur zeer veelbelovend is voor het vervangen van op encoders gebaseerde architecturen op het gebied van 3D begrip. De code is beschikbaar op https://github.com/Ivan-Tang-3D/ENEL

English

Encoder-free architectures have been preliminarily explored in the 2D visual domain, yet it remains an open question whether they can be effectively applied to 3D understanding scenarios. In this paper, we present the first comprehensive investigation into the potential of encoder-free architectures to overcome the challenges of encoder-based 3D Large Multimodal Models (LMMs). These challenges include the failure to adapt to varying point cloud resolutions and the point features from the encoder not meeting the semantic needs of Large Language Models (LLMs). We identify key aspects for 3D LMMs to remove the encoder and enable the LLM to assume the role of the 3D encoder: 1) We propose the LLM-embedded Semantic Encoding strategy in the pre-training stage, exploring the effects of various point cloud self-supervised losses. And we present the Hybrid Semantic Loss to extract high-level semantics. 2) We introduce the Hierarchical Geometry Aggregation strategy in the instruction tuning stage. This incorporates inductive bias into the LLM early layers to focus on the local details of the point clouds. To the end, we present the first Encoder-free 3D LMM, ENEL. Our 7B model rivals the current state-of-the-art model, ShapeLLM-13B, achieving 55.0%, 50.92%, and 42.7% on the classification, captioning, and VQA tasks, respectively. Our results demonstrate that the encoder-free architecture is highly promising for replacing encoder-based architectures in the field of 3D understanding. The code is released at https://github.com/Ivan-Tang-3D/ENEL