ShapeLLM-Omni: Ein natives multimodales LLM für 3D-Generierung und -Verständnis

ShapeLLM-Omni: A Native Multimodal LLM for 3D Generation and Understanding

June 2, 2025

Autoren: Junliang Ye, Zhengyi Wang, Ruowen Zhao, Shenghao Xie, Jun Zhu

cs.AI

Zusammenfassung

Kürzlich haben die leistungsstarken Text-zu-Bild-Fähigkeiten von ChatGPT-4o zu einer zunehmenden Wertschätzung für native multimodale große Sprachmodelle geführt. Allerdings beschränken sich seine multimodalen Fähigkeiten weiterhin auf Bilder und Text. Doch über Bilder hinaus ist die Fähigkeit, 3D-Inhalte zu verstehen und zu generieren, ebenso entscheidend. Um diese Lücke zu schließen, schlagen wir ShapeLLM-Omni vor – ein natives 3D-großes Sprachmodell, das in der Lage ist, 3D-Assets und Text in beliebiger Reihenfolge zu verstehen und zu generieren. Zunächst trainieren wir einen 3D-vektorquantisierten Variationsautoencoder (VQVAE), der 3D-Objekte in einen diskreten latenten Raum abbildet, um eine effiziente und präzise Formdarstellung und -rekonstruktion zu erreichen. Aufbauend auf den 3D-bewussten diskreten Tokens konstruieren wir innovativ einen groß angelegten kontinuierlichen Trainingsdatensatz namens 3D-Alpaca, der Generierung, Verständnis und Bearbeitung umfasst und somit reichhaltige Ressourcen für zukünftige Forschung und Training bereitstellt. Schließlich führen wir ein anweisungsbasiertes Training des Qwen-2.5-vl-7B-Instruct-Modells auf dem 3D-Alpaca-Datensatz durch. Unsere Arbeit bietet einen effektiven Versuch, multimodale Modelle mit grundlegenden 3D-Fähigkeiten zu erweitern, was zukünftige Forschung im Bereich 3D-nativer KI unterstützt. Projektseite: https://github.com/JAMESYJL/ShapeLLM-Omni

English

Recently, the powerful text-to-image capabilities of ChatGPT-4o have led to growing appreciation for native multimodal large language models. However, its multimodal capabilities remain confined to images and text. Yet beyond images, the ability to understand and generate 3D content is equally crucial. To address this gap, we propose ShapeLLM-Omni-a native 3D large language model capable of understanding and generating 3D assets and text in any sequence. First, we train a 3D vector-quantized variational autoencoder (VQVAE), which maps 3D objects into a discrete latent space to achieve efficient and accurate shape representation and reconstruction. Building upon the 3D-aware discrete tokens, we innovatively construct a large-scale continuous training dataset named 3D-Alpaca, encompassing generation, comprehension, and editing, thus providing rich resources for future research and training. Finally, by performing instruction-based training of the Qwen-2.5-vl-7B-Instruct model on the 3D-Alpaca dataset. Our work provides an effective attempt at extending multimodal models with basic 3D capabilities, which contributes to future research in 3D-native AI. Project page: https://github.com/JAMESYJL/ShapeLLM-Omni