Erkundung des Potenzials von Architekturen ohne Encoder in 3D LMMs

Zusammenfassung

Architekturen ohne Encoder wurden vorläufig im 2D-Visuellen Bereich erforscht, aber es bleibt eine offene Frage, ob sie effektiv auf 3D-Verständnisszenarien angewendet werden können. In diesem Paper präsentieren wir die erste umfassende Untersuchung des Potenzials von Encoder-freien Architekturen, um die Herausforderungen von Encoder-basierten 3D Large Multimodal Models (LMMs) zu überwinden. Diese Herausforderungen umfassen das Versagen bei der Anpassung an unterschiedliche Punktewolkenauflösungen und dass die Punktmerkmale des Encoders nicht den semantischen Anforderungen von Large Language Models (LLMs) entsprechen. Wir identifizieren Schlüsselaspekte für 3D LMMs, um den Encoder zu entfernen und dem LLM zu ermöglichen, die Rolle des 3D-Encoders zu übernehmen: 1) Wir schlagen die LLM-eingebettete semantische Kodierungsstrategie in der Vortrainingsphase vor, um die Auswirkungen verschiedener selbstüberwachter Verluste für Punktewolken zu untersuchen. Und wir präsentieren den Hybrid Semantic Loss zur Extraktion von hochrangigen Semantiken. 2) Wir führen die Hierarchische Geometrieaggregationsstrategie in der Anweisungstuningphase ein. Diese integriert induktive Verzerrung in die frühen Schichten des LLM, um sich auf die lokalen Details der Punktewolken zu konzentrieren. Abschließend präsentieren wir das erste Encoder-freie 3D LMM, ENEL. Unser 7B-Modell konkurriert mit dem aktuellen State-of-the-Art-Modell, ShapeLLM-13B, und erreicht 55,0%, 50,92% und 42,7% bei den Klassifizierungs-, Bildunterschriftungs- und VQA-Aufgaben. Unsere Ergebnisse zeigen, dass die Encoder-freie Architektur äußerst vielversprechend ist, um Encoder-basierte Architekturen im Bereich des 3D-Verständnisses zu ersetzen. Der Code ist unter https://github.com/Ivan-Tang-3D/ENEL verfügbar.

English

Encoder-free architectures have been preliminarily explored in the 2D visual domain, yet it remains an open question whether they can be effectively applied to 3D understanding scenarios. In this paper, we present the first comprehensive investigation into the potential of encoder-free architectures to overcome the challenges of encoder-based 3D Large Multimodal Models (LMMs). These challenges include the failure to adapt to varying point cloud resolutions and the point features from the encoder not meeting the semantic needs of Large Language Models (LLMs). We identify key aspects for 3D LMMs to remove the encoder and enable the LLM to assume the role of the 3D encoder: 1) We propose the LLM-embedded Semantic Encoding strategy in the pre-training stage, exploring the effects of various point cloud self-supervised losses. And we present the Hybrid Semantic Loss to extract high-level semantics. 2) We introduce the Hierarchical Geometry Aggregation strategy in the instruction tuning stage. This incorporates inductive bias into the LLM early layers to focus on the local details of the point clouds. To the end, we present the first Encoder-free 3D LMM, ENEL. Our 7B model rivals the current state-of-the-art model, ShapeLLM-13B, achieving 55.0%, 50.92%, and 42.7% on the classification, captioning, and VQA tasks, respectively. Our results demonstrate that the encoder-free architecture is highly promising for replacing encoder-based architectures in the field of 3D understanding. The code is released at https://github.com/Ivan-Tang-3D/ENEL

Erkundung des Potenzials von Architekturen ohne Encoder in 3D LMMs

Exploring the Potential of Encoder-free Architectures in 3D LMMs

Zusammenfassung

Support