MegaParts: トークン効率的な自己回帰モデリングによる、300部品までのパート認識型3Dオブジェクト生成のスケーリング

要旨

パートアウェアな3Dオブジェクト生成は、制御可能なモデリング、編集、アーティキュレーションなどのグラフィックス応用において不可欠であり、そこではオブジェクトは意味的パーツの一貫した集合体として表現されます。しかしながら、既存のパートアウェア生成手法は、非常に複雑なオブジェクトに対してうまくスケールしません。パーツ数が増加するにつれて、詳細な形状の生成はトークン長とメモリの点で法外なコストがかかります。我々は、構造化シーケンスモデリングとトークン効率的なベクトル量子化形状トークナイザを組み合わせることでこの課題に対処する、スケーラブルな自己回帰型3D生成フレームワークMegaPartsを提案します。我々のトークナイザは、高忠実度再構成を維持しながらトークン使用量を最小化することでパーツレベルの形状に対する離散潜在表現を学習し、幾何学的複雑度に基づく適応長トークン化を可能にします。このコンパクトな表現の上に、大規模言語モデルを訓練し、統一された構造化シーケンス内でオブジェクトのバウンディングボックス、パーツのバウンディングボックス、およびパーツ形状トークンを生成します。効率的な長文脈学習戦略と組み合わせることで、我々のトークン効率的な定式化は、最大300パーツ、最大256kトークンのシーケンス長を持つオブジェクトにスケールします。これにより、構成構造を維持し、きめ細かいパーツレベルの制御を可能にしながら、パートアウェア3D生成の規模を大幅に拡張します。本手法は、ベースラインの自己回帰モデルや拡散モデルよりも高いメッシュ品質を達成し、圧縮された離散パーツトークンがスケーラビリティだけでなく生成形状の達成可能な忠実度も向上させることを示します。これらの結果は、LLMネイティブのトークン効率的自己回帰モデリングが、大規模パートアウェア3D生成における拡散モデルの有力な代替手段であることを示唆しています。プロジェクトページは https://expmaster.github.io/megaparts_webpage で公開しています。

English

Part-aware 3D object generation is essential for graphics applications such as controllable modeling, editing, and articulation, where objects are represented as coherent assemblies of semantic parts. However, existing part-aware generation methods, do not scale well to highly complex objects. As the number of parts increases, generating detailed geometry becomes prohibitively expensive in token length and memory. We introduce MegaParts, a scalable autoregressive 3D generation framework to address this challenge by combining structured sequence modeling with a token-efficient vector-quantized shape tokenizer. Our tokenizer learns discrete latent representations for part-level geometry by minimizing token usage subject to high-fidelity reconstruction, enabling adaptive-length tokenization based on geometric complexity. On top of this compact representation, we train a large language model to generate object bounding boxes, part bounding boxes, and part shape tokens within a unified structured sequence. Combined with efficient long-context training strategy, our token-efficient formulation scales to objects with up to 300 parts and sequence lengths up to 256k tokens. This substantially extends the scale of part-aware 3D generation while preserving compositional structure and enabling fine-grained part-level control. Our method achieves higher mesh quality than baseline autoregressive and diffusion models, showing that compressed discrete part tokens improve not only scalability but also the achievable fidelity of generated geometry. These results suggest that LLM native token-efficient autoregressive modeling is a compelling alternative to diffusion for large-scale part-aware 3D generation. The project page is available at https://expmaster.github.io/megaparts_webpage.