ShapeLLM-Omni: Um LLM Multimodal Nativo para Geração e Compreensão 3D

ShapeLLM-Omni: A Native Multimodal LLM for 3D Generation and Understanding

June 2, 2025

Autores: Junliang Ye, Zhengyi Wang, Ruowen Zhao, Shenghao Xie, Jun Zhu

cs.AI

Resumo

Recentemente, as poderosas capacidades de geração de texto para imagem do ChatGPT-4o têm levado a uma crescente apreciação pelos modelos de linguagem multimodal nativos. No entanto, suas capacidades multimodais permanecem restritas a imagens e texto. Além das imagens, a capacidade de compreender e gerar conteúdo 3D é igualmente crucial. Para abordar essa lacuna, propomos o ShapeLLM-Omni, um modelo de linguagem grande nativo 3D capaz de compreender e gerar ativos 3D e texto em qualquer sequência. Primeiro, treinamos um autoencoder variacional quantizado vetorial 3D (VQVAE), que mapeia objetos 3D em um espaço latente discreto para alcançar uma representação e reconstrução de formas eficiente e precisa. Com base nos tokens discretos conscientes de 3D, construímos de forma inovadora um grande conjunto de dados de treinamento contínuo chamado 3D-Alpaca, abrangendo geração, compreensão e edição, fornecendo assim recursos ricos para pesquisas e treinamentos futuros. Por fim, realizamos o treinamento baseado em instruções do modelo Qwen-2.5-vl-7B-Instruct no conjunto de dados 3D-Alpaca. Nosso trabalho fornece uma tentativa eficaz de estender modelos multimodais com capacidades básicas de 3D, contribuindo para pesquisas futuras em IA nativa 3D. Página do projeto: https://github.com/JAMESYJL/ShapeLLM-Omni

English

Recently, the powerful text-to-image capabilities of ChatGPT-4o have led to growing appreciation for native multimodal large language models. However, its multimodal capabilities remain confined to images and text. Yet beyond images, the ability to understand and generate 3D content is equally crucial. To address this gap, we propose ShapeLLM-Omni-a native 3D large language model capable of understanding and generating 3D assets and text in any sequence. First, we train a 3D vector-quantized variational autoencoder (VQVAE), which maps 3D objects into a discrete latent space to achieve efficient and accurate shape representation and reconstruction. Building upon the 3D-aware discrete tokens, we innovatively construct a large-scale continuous training dataset named 3D-Alpaca, encompassing generation, comprehension, and editing, thus providing rich resources for future research and training. Finally, by performing instruction-based training of the Qwen-2.5-vl-7B-Instruct model on the 3D-Alpaca dataset. Our work provides an effective attempt at extending multimodal models with basic 3D capabilities, which contributes to future research in 3D-native AI. Project page: https://github.com/JAMESYJL/ShapeLLM-Omni