ShapeLLM-Omni: 3D生成と理解のためのネイティブマルチモーダルLLM

要旨

最近、ChatGPT-4oの強力なテキストから画像への生成能力により、ネイティブなマルチモーダル大規模言語モデルに対する評価が高まっています。しかし、そのマルチモーダル能力は画像とテキストに限定されています。画像を超えて、3Dコンテンツを理解し生成する能力も同様に重要です。このギャップを埋めるため、我々はShapeLLM-Omniを提案します。これは、3Dアセットとテキストを任意の順序で理解し生成できるネイティブな3D大規模言語モデルです。まず、3Dベクトル量子化変分オートエンコーダ（VQVAE）を訓練し、3Dオブジェクトを離散潜在空間にマッピングすることで、効率的かつ正確な形状表現と再構成を実現します。3D対応の離散トークンを基盤として、生成、理解、編集を含む大規模な連続訓練データセット「3D-Alpaca」を革新的に構築し、将来の研究と訓練のための豊富なリソースを提供します。最後に、3D-Alpacaデータセット上でQwen-2.5-vl-7B-Instructモデルを指示に基づいて訓練します。我々の研究は、基本的な3D能力を備えたマルチモーダルモデルの拡張に有効な試みを提供し、3DネイティブAIの将来の研究に貢献します。プロジェクトページ：https://github.com/JAMESYJL/ShapeLLM-Omni

English

Recently, the powerful text-to-image capabilities of ChatGPT-4o have led to growing appreciation for native multimodal large language models. However, its multimodal capabilities remain confined to images and text. Yet beyond images, the ability to understand and generate 3D content is equally crucial. To address this gap, we propose ShapeLLM-Omni-a native 3D large language model capable of understanding and generating 3D assets and text in any sequence. First, we train a 3D vector-quantized variational autoencoder (VQVAE), which maps 3D objects into a discrete latent space to achieve efficient and accurate shape representation and reconstruction. Building upon the 3D-aware discrete tokens, we innovatively construct a large-scale continuous training dataset named 3D-Alpaca, encompassing generation, comprehension, and editing, thus providing rich resources for future research and training. Finally, by performing instruction-based training of the Qwen-2.5-vl-7B-Instruct model on the 3D-Alpaca dataset. Our work provides an effective attempt at extending multimodal models with basic 3D capabilities, which contributes to future research in 3D-native AI. Project page: https://github.com/JAMESYJL/ShapeLLM-Omni

ShapeLLM-Omni: 3D生成と理解のためのネイティブマルチモーダルLLM

ShapeLLM-Omni: A Native Multimodal LLM for 3D Generation and Understanding

要旨

Support