OmniPart: セマンティックデカップリングと構造的結束性を備えたパート認識3D生成

要旨

明示的かつ編集可能な部品構造を持つ3Dアセットの作成は、インタラクティブアプリケーションの進展において重要である。しかし、ほとんどの生成手法は単一の形状しか生成せず、その有用性が制限されている。本論文では、部品を意識した3Dオブジェクト生成のための新しいフレームワークであるOmniPartを紹介する。OmniPartは、コンポーネント間の高い意味的デカップリングを実現しつつ、堅牢な構造的結束を維持するように設計されている。OmniPartは、この複雑なタスクを2つの相乗的な段階に分離する点でユニークである：(1) 自己回帰型の構造計画モジュールが、直感的な部品分解を可能にする柔軟な2D部品マスクに基づいて、制御可能で可変長の3D部品バウンディングボックスのシーケンスを生成する。この際、直接的な対応関係や意味的ラベルを必要としない。(2) 事前学習された全体的な3Dジェネレータから効率的に適応された空間条件付き整流フローモデルが、計画されたレイアウト内で全ての3D部品を同時に一貫して合成する。本アプローチは、ユーザー定義の部品粒度、正確な位置決めをサポートし、多様な下流アプリケーションを可能にする。広範な実験により、OmniPartが最先端の性能を達成し、より解釈可能で編集可能かつ汎用性の高い3Dコンテンツへの道を開くことが示された。

English

The creation of 3D assets with explicit, editable part structures is crucial for advancing interactive applications, yet most generative methods produce only monolithic shapes, limiting their utility. We introduce OmniPart, a novel framework for part-aware 3D object generation designed to achieve high semantic decoupling among components while maintaining robust structural cohesion. OmniPart uniquely decouples this complex task into two synergistic stages: (1) an autoregressive structure planning module generates a controllable, variable-length sequence of 3D part bounding boxes, critically guided by flexible 2D part masks that allow for intuitive control over part decomposition without requiring direct correspondences or semantic labels; and (2) a spatially-conditioned rectified flow model, efficiently adapted from a pre-trained holistic 3D generator, synthesizes all 3D parts simultaneously and consistently within the planned layout. Our approach supports user-defined part granularity, precise localization, and enables diverse downstream applications. Extensive experiments demonstrate that OmniPart achieves state-of-the-art performance, paving the way for more interpretable, editable, and versatile 3D content.

OmniPart: セマンティックデカップリングと構造的結束性を備えたパート認識3D生成

OmniPart: Part-Aware 3D Generation with Semantic Decoupling and Structural Cohesion

要旨

Support