Exploration du potentiel des architectures sans codeur dans les MML 3D

Exploring the Potential of Encoder-free Architectures in 3D LMMs

February 13, 2025

Auteurs: Yiwen Tang, Zoey Guo, Zhuhao Wang, Ray Zhang, Qizhi Chen, Junli Liu, Delin Qu, Zhigang Wang, Dong Wang, Xuelong Li, Bin Zhao

cs.AI

Résumé

Les architectures sans encodeur ont été explorées de manière préliminaire dans le domaine visuel en 2D, mais il reste une question ouverte de savoir si elles peuvent être efficacement appliquées aux scénarios de compréhension en 3D. Dans cet article, nous présentons la première investigation complète sur le potentiel des architectures sans encodeur pour surmonter les défis des grands modèles multimodaux 3D sans encodeur (LMM). Ces défis incluent l'incapacité à s'adapter aux résolutions variables des nuages de points et le fait que les caractéristiques des points de l'encodeur ne répondent pas aux besoins sémantiques des grands modèles de langage (LLM). Nous identifions les aspects clés pour les LMM 3D afin de supprimer l'encodeur et permettre au LLM d'assumer le rôle de l'encodeur 3D : 1) Nous proposons la stratégie d'encodage sémantique intégrée au LLM lors de l'étape de pré-entraînement, en explorant les effets de diverses pertes auto-supervisées des nuages de points. Et nous présentons la perte sémantique hybride pour extraire des sémantiques de haut niveau. 2) Nous introduisons la stratégie d'agrégation géométrique hiérarchique lors de l'étape de réglage de l'instruction. Cela incorpore un biais inductif dans les premières couches du LLM pour se concentrer sur les détails locaux des nuages de points. En fin de compte, nous présentons le premier LMM 3D sans encodeur, ENEL. Notre modèle 7B rivalise avec le modèle de pointe actuel, ShapeLLM-13B, atteignant respectivement 55,0 %, 50,92 % et 42,7 % dans les tâches de classification, de légendage et de VQA. Nos résultats démontrent que l'architecture sans encodeur est très prometteuse pour remplacer les architectures basées sur l'encodeur dans le domaine de la compréhension 3D. Le code est disponible sur https://github.com/Ivan-Tang-3D/ENEL.

English

Encoder-free architectures have been preliminarily explored in the 2D visual domain, yet it remains an open question whether they can be effectively applied to 3D understanding scenarios. In this paper, we present the first comprehensive investigation into the potential of encoder-free architectures to overcome the challenges of encoder-based 3D Large Multimodal Models (LMMs). These challenges include the failure to adapt to varying point cloud resolutions and the point features from the encoder not meeting the semantic needs of Large Language Models (LLMs). We identify key aspects for 3D LMMs to remove the encoder and enable the LLM to assume the role of the 3D encoder: 1) We propose the LLM-embedded Semantic Encoding strategy in the pre-training stage, exploring the effects of various point cloud self-supervised losses. And we present the Hybrid Semantic Loss to extract high-level semantics. 2) We introduce the Hierarchical Geometry Aggregation strategy in the instruction tuning stage. This incorporates inductive bias into the LLM early layers to focus on the local details of the point clouds. To the end, we present the first Encoder-free 3D LMM, ENEL. Our 7B model rivals the current state-of-the-art model, ShapeLLM-13B, achieving 55.0%, 50.92%, and 42.7% on the classification, captioning, and VQA tasks, respectively. Our results demonstrate that the encoder-free architecture is highly promising for replacing encoder-based architectures in the field of 3D understanding. The code is released at https://github.com/Ivan-Tang-3D/ENEL