Part-X-MLLM: Deelbewuste 3D Multimodale Grote Taalmodellen
Part-X-MLLM: Part-aware 3D Multimodal Large Language Model
November 17, 2025
Auteurs: Chunshi Wang, Junliang Ye, Yunhan Yang, Yang Li, Zizhuo Lin, Jun Zhu, Zhuo Chen, Yawei Luo, Chunchao Guo
cs.AI
Samenvatting
Wij introduceren Part-X-MLLM, een native 3D multimodaal groot taalmodel dat diverse 3D-taken verenigt door ze te formuleren als programma's in een gestructureerde, uitvoerbare grammatica. Gegeven een RGB-puntenwolk en een natuurlijke-taalaanvraag genereert ons model autoregressief een enkele, coherente tokenreeks die deelniveau-begrenzingskaders, semantische beschrijvingen en bewerkingscommando's codeert. Deze gestructureerde output fungeert als een veelzijdige interface om downstream, geometrie-bewuste modules aan te sturen voor op delen gebaseerde generatie en bewerking. Door de symbolische planning te ontkoppelen van de geometrische synthese, stelt onze aanpak elke compatibele geometrie-engine in staat om via een enkele, taal-native frontend te worden bestuurd. Wij pre-trainen een dual-encoder-architectuur om structuur van semantiek te ontwarren en instruction-tunen het model op een grootschalige, op delen gerichte dataset. Experimenten tonen aan dat ons model uitblinkt in het produceren van hoogwaardige, gestructureerde plannen, wat state-of-the-art prestaties mogelijk maakt in gegronde Q&A, compositionele generatie en gelokaliseerde bewerking via één verenigde interface. Projectpagina: https://chunshi.wang/Part-X-MLLM/
English
We introduce Part-X-MLLM, a native 3D multimodal large language model that unifies diverse 3D tasks by formulating them as programs in a structured, executable grammar. Given an RGB point cloud and a natural language prompt, our model autoregressively generates a single, coherent token sequence encoding part-level bounding boxes, semantic descriptions, and edit commands. This structured output serves as a versatile interface to drive downstream geometry-aware modules for part-based generation and editing. By decoupling the symbolic planning from the geometric synthesis, our approach allows any compatible geometry engine to be controlled through a single, language-native frontend. We pre-train a dual-encoder architecture to disentangle structure from semantics and instruction-tune the model on a large-scale, part-centric dataset. Experiments demonstrate that our model excels at producing high-quality, structured plans, enabling state-of-the-art performance in grounded Q\&A, compositional generation, and localized editing through one unified interface. Project page: https://chunshi.wang/Part-X-MLLM/