ShapeLLM-Omni: Un Modelo de Lenguaje Multimodal Nativo para la Generación y Comprensión 3D

ShapeLLM-Omni: A Native Multimodal LLM for 3D Generation and Understanding

June 2, 2025

Autores: Junliang Ye, Zhengyi Wang, Ruowen Zhao, Shenghao Xie, Jun Zhu

cs.AI

Resumen

Recientemente, las potentes capacidades de generación de texto a imagen de ChatGPT-4o han llevado a un creciente reconocimiento de los modelos de lenguaje multimodal nativos. Sin embargo, sus capacidades multimodales siguen limitadas a imágenes y texto. Más allá de las imágenes, la capacidad de comprender y generar contenido 3D es igualmente crucial. Para abordar esta brecha, proponemos ShapeLLM-Omni, un modelo de lenguaje grande nativo en 3D capaz de comprender y generar activos 3D y texto en cualquier secuencia. Primero, entrenamos un autoencoder variacional cuantizado vectorial en 3D (VQVAE), que mapea objetos 3D en un espacio latente discreto para lograr una representación y reconstrucción de formas eficiente y precisa. Basándonos en los tokens discretos conscientes de 3D, construimos de manera innovadora un conjunto de datos de entrenamiento continuo a gran escala llamado 3D-Alpaca, que abarca generación, comprensión y edición, proporcionando así recursos ricos para futuras investigaciones y entrenamientos. Finalmente, realizamos un entrenamiento basado en instrucciones del modelo Qwen-2.5-vl-7B-Instruct en el conjunto de datos 3D-Alpaca. Nuestro trabajo ofrece un intento efectivo de extender modelos multimodales con capacidades básicas en 3D, lo que contribuye a futuras investigaciones en IA nativa en 3D. Página del proyecto: https://github.com/JAMESYJL/ShapeLLM-Omni

English

Recently, the powerful text-to-image capabilities of ChatGPT-4o have led to growing appreciation for native multimodal large language models. However, its multimodal capabilities remain confined to images and text. Yet beyond images, the ability to understand and generate 3D content is equally crucial. To address this gap, we propose ShapeLLM-Omni-a native 3D large language model capable of understanding and generating 3D assets and text in any sequence. First, we train a 3D vector-quantized variational autoencoder (VQVAE), which maps 3D objects into a discrete latent space to achieve efficient and accurate shape representation and reconstruction. Building upon the 3D-aware discrete tokens, we innovatively construct a large-scale continuous training dataset named 3D-Alpaca, encompassing generation, comprehension, and editing, thus providing rich resources for future research and training. Finally, by performing instruction-based training of the Qwen-2.5-vl-7B-Instruct model on the 3D-Alpaca dataset. Our work provides an effective attempt at extending multimodal models with basic 3D capabilities, which contributes to future research in 3D-native AI. Project page: https://github.com/JAMESYJL/ShapeLLM-Omni