ShapeLLM-Omni: Een Native Multimodale LLM voor 3D-generatie en -begrip

ShapeLLM-Omni: A Native Multimodal LLM for 3D Generation and Understanding

June 2, 2025

Auteurs: Junliang Ye, Zhengyi Wang, Ruowen Zhao, Shenghao Xie, Jun Zhu

cs.AI

Samenvatting

Onlangs heeft de krachtige tekst-naar-beeldmogelijkheid van ChatGPT-4o geleid tot een groeiende waardering voor native multimodale grote taalmodellen. Echter, de multimodale mogelijkheden blijven beperkt tot afbeeldingen en tekst. Toch is, naast afbeeldingen, het vermogen om 3D-inhoud te begrijpen en te genereren eveneens cruciaal. Om dit gat te dichten, stellen wij ShapeLLM-Omni voor - een native 3D groot taalmodel dat in staat is om 3D-assets en tekst in elke volgorde te begrijpen en te genereren. Eerst trainen we een 3D vector-gekwantiseerde variational autoencoder (VQVAE), die 3D-objecten afbeeldt op een discreet latent ruimte om efficiënte en nauwkeurige vormrepresentatie en -reconstructie te bereiken. Gebaseerd op de 3D-bewuste discrete tokens, construeren we innovatief een grootschalige continue trainingsdataset genaamd 3D-Alpaca, die generatie, begrip en bewerking omvat, waardoor rijke bronnen worden geboden voor toekomstig onderzoek en training. Ten slotte voeren we instructiegebaseerde training uit van het Qwen-2.5-vl-7B-Instruct model op de 3D-Alpaca dataset. Ons werk biedt een effectieve poging om multimodale modellen uit te breiden met basis 3D-mogelijkheden, wat bijdraagt aan toekomstig onderzoek in 3D-native AI. Projectpagina: https://github.com/JAMESYJL/ShapeLLM-Omni

English

Recently, the powerful text-to-image capabilities of ChatGPT-4o have led to growing appreciation for native multimodal large language models. However, its multimodal capabilities remain confined to images and text. Yet beyond images, the ability to understand and generate 3D content is equally crucial. To address this gap, we propose ShapeLLM-Omni-a native 3D large language model capable of understanding and generating 3D assets and text in any sequence. First, we train a 3D vector-quantized variational autoencoder (VQVAE), which maps 3D objects into a discrete latent space to achieve efficient and accurate shape representation and reconstruction. Building upon the 3D-aware discrete tokens, we innovatively construct a large-scale continuous training dataset named 3D-Alpaca, encompassing generation, comprehension, and editing, thus providing rich resources for future research and training. Finally, by performing instruction-based training of the Qwen-2.5-vl-7B-Instruct model on the 3D-Alpaca dataset. Our work provides an effective attempt at extending multimodal models with basic 3D capabilities, which contributes to future research in 3D-native AI. Project page: https://github.com/JAMESYJL/ShapeLLM-Omni