Explorando el Potencial de Arquitecturas sin Codificador en Modelos de Lenguaje 3D

Exploring the Potential of Encoder-free Architectures in 3D LMMs

February 13, 2025

Autores: Yiwen Tang, Zoey Guo, Zhuhao Wang, Ray Zhang, Qizhi Chen, Junli Liu, Delin Qu, Zhigang Wang, Dong Wang, Xuelong Li, Bin Zhao

cs.AI

Resumen

Las arquitecturas sin codificador han sido exploradas preliminarmente en el dominio visual 2D, sin embargo, sigue siendo una pregunta abierta si pueden ser aplicadas efectivamente a escenarios de comprensión 3D. En este artículo, presentamos la primera investigación exhaustiva sobre el potencial de las arquitecturas sin codificador para superar los desafíos de los Modelos Multimodales Grandes (LMM) 3D basados en codificadores. Estos desafíos incluyen la incapacidad de adaptarse a resoluciones variables de nubes de puntos y que las características de puntos del codificador no satisfacen las necesidades semánticas de los Modelos de Lenguaje Grandes (LLM). Identificamos aspectos clave para los LMM 3D para eliminar el codificador y permitir que el LLM asuma el papel del codificador 3D: 1) Proponemos la estrategia de Codificación Semántica incrustada en el LLM en la etapa de pre-entrenamiento, explorando los efectos de varias pérdidas auto-supervisadas de nubes de puntos. Y presentamos la Pérdida Semántica Híbrida para extraer semántica de alto nivel. 2) Introducimos la estrategia de Agregación Geométrica Jerárquica en la etapa de ajuste de instrucciones. Esto incorpora sesgo inductivo en las capas tempranas del LLM para enfocarse en los detalles locales de las nubes de puntos. Finalmente, presentamos el primer LMM 3D sin codificador, ENEL. Nuestro modelo de 7B rivaliza con el modelo actual de vanguardia, ShapeLLM-13B, logrando un 55.0%, 50.92% y 42.7% en las tareas de clasificación, descripción y VQA, respectivamente. Nuestros resultados demuestran que la arquitectura sin codificador es altamente prometedora para reemplazar las arquitecturas basadas en codificadores en el campo de la comprensión 3D. El código está disponible en https://github.com/Ivan-Tang-3D/ENEL

English

Encoder-free architectures have been preliminarily explored in the 2D visual domain, yet it remains an open question whether they can be effectively applied to 3D understanding scenarios. In this paper, we present the first comprehensive investigation into the potential of encoder-free architectures to overcome the challenges of encoder-based 3D Large Multimodal Models (LMMs). These challenges include the failure to adapt to varying point cloud resolutions and the point features from the encoder not meeting the semantic needs of Large Language Models (LLMs). We identify key aspects for 3D LMMs to remove the encoder and enable the LLM to assume the role of the 3D encoder: 1) We propose the LLM-embedded Semantic Encoding strategy in the pre-training stage, exploring the effects of various point cloud self-supervised losses. And we present the Hybrid Semantic Loss to extract high-level semantics. 2) We introduce the Hierarchical Geometry Aggregation strategy in the instruction tuning stage. This incorporates inductive bias into the LLM early layers to focus on the local details of the point clouds. To the end, we present the first Encoder-free 3D LMM, ENEL. Our 7B model rivals the current state-of-the-art model, ShapeLLM-13B, achieving 55.0%, 50.92%, and 42.7% on the classification, captioning, and VQA tasks, respectively. Our results demonstrate that the encoder-free architecture is highly promising for replacing encoder-based architectures in the field of 3D understanding. The code is released at https://github.com/Ivan-Tang-3D/ENEL