SIMART: MLLMによるモノリシックメッシュのシミュレーション対応アーティキュレートアセットへの分解

要旨

高品質な関節構造を持つ3Dアセットは、具現化AIや物理シミュレーションに不可欠であるにも関わらず、現在の3D生成技術は静的なメッシュに焦点が当てられており、「シミュレーション対応」なインタラクティブオブジェクトの生成には未だ課題が残っている。近年の関節オブジェクト作成手法の多くは、複数段階のパイプラインに依存しており、分離されたモジュール間で誤差が累積されやすい。一方、統合型MLLM（大規模言語モデル）は、静的アセットの理解とシミュレーション対応アセットの生成を単一段階で実現する道を開く。しかし、高密度なボクセルベースの3Dトークン化は長い3Dトークン列と高いメモリオーバーヘッドを生み出し、複雑な関節オブジェクトへの拡張性を制限している。この問題に対処するため、我々は部品レベルの分解と運動予測を統合的に行うMLLMフレームワーク「SIMART」を提案する。SIMARTは疎な3D VQ-VAEを導入することで、高密度ボクセルトークンと比較してトークン数を70%削減し、高精細な多部品アセンブリを実現する。SIMARTはPartNet-Mobilityおよび実世界AIGCデータセットにおいて最先端の性能を達成し、物理ベースのロボットシミュレーションを可能にする。

English

High-quality articulated 3D assets are indispensable for embodied AI and physical simulation, yet 3D generation still focuses on static meshes, leaving a gap in "sim-ready" interactive objects. Most recent articulated object creation methods rely on multi-stage pipelines that accumulate errors across decoupled modules. Alternatively, unified MLLMs offer a single-stage path to joint static asset understanding and sim-ready asset generation. However dense voxel-based 3D tokenization yields long 3D token sequences and high memory overhead, limiting scalability to complex articulated objects. To address this, we propose SIMART, a unified MLLM framework that jointly performs part-level decomposition and kinematic prediction. By introducing a Sparse 3D VQ-VAE, SIMART reduces token counts by 70% vs. dense voxel tokens, enabling high-fidelity multi-part assemblies. SIMART achieves state-of-the-art performance on PartNet-Mobility and in-the-wild AIGC datasets, and enables physics-based robotic simulation.

SIMART: MLLMによるモノリシックメッシュのシミュレーション対応アーティキュレートアセットへの分解

SIMART: Decomposing Monolithic Meshes into Sim-ready Articulated Assets via MLLM

要旨

Support