ShapeLLM-Omni: Нативная мультимодальная языковая модель для генерации и анализа 3D-данных
ShapeLLM-Omni: A Native Multimodal LLM for 3D Generation and Understanding
June 2, 2025
Авторы: Junliang Ye, Zhengyi Wang, Ruowen Zhao, Shenghao Xie, Jun Zhu
cs.AI
Аннотация
В последнее время мощные возможности ChatGPT-4o в области генерации изображений из текста привели к растущему признанию нативных мультимодальных больших языковых моделей. Однако их мультимодальные возможности по-прежнему ограничены изображениями и текстом. Между тем, помимо изображений, способность понимать и генерировать 3D-контент не менее важна. Чтобы восполнить этот пробел, мы предлагаем ShapeLLM-Omni — нативную 3D-большую языковую модель, способную понимать и генерировать 3D-объекты и текст в любой последовательности. Сначала мы обучаем 3D-векторно-квантованный вариационный автоэнкодер (VQVAE), который отображает 3D-объекты в дискретное латентное пространство для достижения эффективного и точного представления и реконструкции форм. На основе 3D-осознанных дискретных токенов мы инновационно создаем крупномасштабный непрерывный набор данных для обучения под названием 3D-Alpaca, охватывающий генерацию, понимание и редактирование, что предоставляет богатые ресурсы для будущих исследований и обучения. Наконец, выполняя обучение модели Qwen-2.5-vl-7B-Instruct на основе инструкций на наборе данных 3D-Alpaca. Наша работа представляет собой эффективную попытку расширения мультимодальных моделей базовыми 3D-возможностями, что способствует будущим исследованиям в области нативного 3D-искусственного интеллекта. Страница проекта: https://github.com/JAMESYJL/ShapeLLM-Omni
English
Recently, the powerful text-to-image capabilities of ChatGPT-4o have led to
growing appreciation for native multimodal large language models. However, its
multimodal capabilities remain confined to images and text. Yet beyond images,
the ability to understand and generate 3D content is equally crucial. To
address this gap, we propose ShapeLLM-Omni-a native 3D large language model
capable of understanding and generating 3D assets and text in any sequence.
First, we train a 3D vector-quantized variational autoencoder (VQVAE), which
maps 3D objects into a discrete latent space to achieve efficient and accurate
shape representation and reconstruction. Building upon the 3D-aware discrete
tokens, we innovatively construct a large-scale continuous training dataset
named 3D-Alpaca, encompassing generation, comprehension, and editing, thus
providing rich resources for future research and training. Finally, by
performing instruction-based training of the Qwen-2.5-vl-7B-Instruct model on
the 3D-Alpaca dataset. Our work provides an effective attempt at extending
multimodal models with basic 3D capabilities, which contributes to future
research in 3D-native AI. Project page:
https://github.com/JAMESYJL/ShapeLLM-Omni