Part-X-MLLM: Teilbewusstes 3D-Multimodales Großsprachmodell
Part-X-MLLM: Part-aware 3D Multimodal Large Language Model
November 17, 2025
papers.authors: Chunshi Wang, Junliang Ye, Yunhan Yang, Yang Li, Zizhuo Lin, Jun Zhu, Zhuo Chen, Yawei Luo, Chunchao Guo
cs.AI
papers.abstract
Wir stellen Part-X-MLLM vor, ein natives 3D-multimodales Großsprachmodell, das verschiedene 3D-Aufgaben vereinheitlicht, indem es diese als Programme in einer strukturierten, ausführbaren Grammatik formuliert. Gegeben einen RGB-Punktwolke und eine natürliche Sprachaufforderung generiert unser Modell autoregressiv eine einzige, kohärente Token-Sequenz, die teilbezogene Begrenzungsrahmen, semantische Beschreibungen und Bearbeitungsbefehle kodiert. Diese strukturierte Ausgabe dient als vielseitige Schnittstelle, um nachgelagerte geometrie-bewusste Module für teilbasierte Generierung und Bearbeitung anzusteuern. Durch die Entkopplung der symbolischen Planung von der geometrischen Synthese ermöglicht unser Ansatz, dass jede kompatible Geometrie-Engine über eine einzige, sprachnative Frontend gesteuert werden kann. Wir vortrainieren eine Dual-Encoder-Architektur, um Struktur von Semantik zu entflechten, und instruktions-finetunen das Modell auf einem groß angelegten, teilzentrierten Datensatz. Experimente zeigen, dass unser Modell hervorragend hochwertige, strukturierte Pläne erzeugt und durch eine einheitliche Schnittstelle state-of-the-art Leistung in geerdeten Frage-Antwort-Szenarien, kompositioneller Generierung und lokalisierter Bearbeitung ermöglicht. Projektseite: https://chunshi.wang/Part-X-MLLM/
English
We introduce Part-X-MLLM, a native 3D multimodal large language model that unifies diverse 3D tasks by formulating them as programs in a structured, executable grammar. Given an RGB point cloud and a natural language prompt, our model autoregressively generates a single, coherent token sequence encoding part-level bounding boxes, semantic descriptions, and edit commands. This structured output serves as a versatile interface to drive downstream geometry-aware modules for part-based generation and editing. By decoupling the symbolic planning from the geometric synthesis, our approach allows any compatible geometry engine to be controlled through a single, language-native frontend. We pre-train a dual-encoder architecture to disentangle structure from semantics and instruction-tune the model on a large-scale, part-centric dataset. Experiments demonstrate that our model excels at producing high-quality, structured plans, enabling state-of-the-art performance in grounded Q\&A, compositional generation, and localized editing through one unified interface. Project page: https://chunshi.wang/Part-X-MLLM/