ShapeLLM-Omni : Un modèle de langage multimodal natif pour la génération et la compréhension 3D

ShapeLLM-Omni: A Native Multimodal LLM for 3D Generation and Understanding

June 2, 2025

Auteurs: Junliang Ye, Zhengyi Wang, Ruowen Zhao, Shenghao Xie, Jun Zhu

cs.AI

Résumé

Récemment, les puissantes capacités de génération d'images à partir de texte de ChatGPT-4o ont suscité un intérêt croissant pour les modèles de langage multimodaux natifs. Cependant, ses capacités multimodales restent limitées aux images et au texte. Pourtant, au-delà des images, la capacité à comprendre et à générer du contenu 3D est tout aussi cruciale. Pour combler cette lacune, nous proposons ShapeLLM-Omni, un modèle de langage 3D natif capable de comprendre et de générer des actifs 3D et du texte dans n'importe quelle séquence. Tout d'abord, nous entraînons un autoencodeur variationnel vectorisé quantifié en 3D (VQVAE), qui cartographie des objets 3D dans un espace latent discret pour obtenir une représentation et une reconstruction de formes efficaces et précises. En nous appuyant sur ces tokens discrets conscients de la 3D, nous construisons de manière innovante un ensemble de données d'entraînement continu à grande échelle nommé 3D-Alpaca, englobant la génération, la compréhension et l'édition, offrant ainsi des ressources riches pour les recherches et entraînements futurs. Enfin, en effectuant un entraînement basé sur des instructions du modèle Qwen-2.5-vl-7B-Instruct sur l'ensemble de données 3D-Alpaca. Notre travail propose une tentative efficace d'étendre les modèles multimodaux avec des capacités 3D de base, contribuant ainsi aux recherches futures sur l'IA native en 3D. Page du projet : https://github.com/JAMESYJL/ShapeLLM-Omni

English

Recently, the powerful text-to-image capabilities of ChatGPT-4o have led to growing appreciation for native multimodal large language models. However, its multimodal capabilities remain confined to images and text. Yet beyond images, the ability to understand and generate 3D content is equally crucial. To address this gap, we propose ShapeLLM-Omni-a native 3D large language model capable of understanding and generating 3D assets and text in any sequence. First, we train a 3D vector-quantized variational autoencoder (VQVAE), which maps 3D objects into a discrete latent space to achieve efficient and accurate shape representation and reconstruction. Building upon the 3D-aware discrete tokens, we innovatively construct a large-scale continuous training dataset named 3D-Alpaca, encompassing generation, comprehension, and editing, thus providing rich resources for future research and training. Finally, by performing instruction-based training of the Qwen-2.5-vl-7B-Instruct model on the 3D-Alpaca dataset. Our work provides an effective attempt at extending multimodal models with basic 3D capabilities, which contributes to future research in 3D-native AI. Project page: https://github.com/JAMESYJL/ShapeLLM-Omni