CubePart: オープンボキャブラリのパート制御可能な3D生成器

要旨

インタラクティブ3Dアセットは、ゲームやシミュレーションにおいて、アニメーション、物理演算、スクリプト動作をサポートするために、特定の意味的パーツに分解されるのが一般的である。しかし、既存の生成型3Dモデルの多くは、単一メッシュまたはアプリケーション固有の要件に適合しない任意のパーツ分解を生成する。本稿では、推論時にパーツ構造を明示的な制御信号として公開する、オープンボキャブラリかつパート制御可能な3Dメッシュ生成フレームワーク「CubePart」を提案する。ユーザーが与える全体テキストプロンプトと、任意のパーツ名リストとして表現されるパーツスキーマに基づき、本手法はスキーマの各要素に対応するメッシュ群を生成し、それらが指定された意味的構造を維持しつつ一貫性のあるオブジェクトを構成する。この機能を実現するために、大規模なオープンボキャブラリ・パーツラベル付き3Dデータセットを構築するスケーラブルなデータパイプラインと、全体形状合成とパートレベルのデコードを分離する二段階生成アーキテクチャを導入する。生成されたアセットは、手動による後処理を必要とせずに、ゲームエンジンに直接組み込み、アニメーションや動作スクリプトによって駆動できることを実証する。プロジェクトページ: https://cubepart.github.io/

English

Interactive 3D assets used in games and simulation are typically decomposed into specific semantic parts to support animation, physics, and scripted behaviors, yet most generative 3D models produce either monolithic meshes or arbitrary part decompositions that cannot be aligned with application-specific requirements. We present CubePart, a generative framework for open-vocabulary, part-controllable 3D mesh generation that exposes part structure as an explicit inference-time control signal. Given a global text prompt and a user-defined parts schema expressed as an open-ended list of part names, our method generates a set of meshes - one per schema element - that assemble into a coherent object while respecting the specified semantic structure. To enable this capability, we introduce a scalable data pipeline to construct a large open-vocabulary, part-labeled 3D dataset, along with a two-stage generative architecture that separates global shape synthesis from part-level decoding. We demonstrate that the resulting assets can be directly integrated into game engines and driven by animation and behavior scripts without manual post-processing. Project Page: https://cubepart.github.io/