OmniPart : Génération 3D consciente des parties avec découplage sémantique et cohésion structurelle

OmniPart: Part-Aware 3D Generation with Semantic Decoupling and Structural Cohesion

July 8, 2025

papers.authors: Yunhan Yang, Yufan Zhou, Yuan-Chen Guo, Zi-Xin Zou, Yukun Huang, Ying-Tian Liu, Hao Xu, Ding Liang, Yan-Pei Cao, Xihui Liu

cs.AI

papers.abstract

La création d'actifs 3D avec des structures de parties explicites et modifiables est cruciale pour faire progresser les applications interactives, mais la plupart des méthodes génératives ne produisent que des formes monolithiques, limitant ainsi leur utilité. Nous présentons OmniPart, un nouveau cadre pour la génération d'objets 3D conscients des parties, conçu pour atteindre un découplage sémantique élevé entre les composants tout en maintenant une cohésion structurelle robuste. OmniPart découple de manière unique cette tâche complexe en deux étapes synergiques : (1) un module de planification de structure autoregressif génère une séquence contrôlable et de longueur variable de boîtes englobantes 3D pour les parties, guidé de manière critique par des masques de parties 2D flexibles qui permettent un contrôle intuitif de la décomposition des parties sans nécessiter de correspondances directes ou d'étiquettes sémantiques ; et (2) un modèle de flux rectifié conditionné spatialement, efficacement adapté à partir d'un générateur 3D holistique pré-entraîné, synthétise toutes les parties 3D simultanément et de manière cohérente dans la disposition planifiée. Notre approche prend en charge la granularité des parties définie par l'utilisateur, la localisation précise, et permet diverses applications en aval. Des expériences approfondies démontrent qu'OmniPart atteint des performances de pointe, ouvrant la voie à un contenu 3D plus interprétable, modifiable et polyvalent.

English

The creation of 3D assets with explicit, editable part structures is crucial for advancing interactive applications, yet most generative methods produce only monolithic shapes, limiting their utility. We introduce OmniPart, a novel framework for part-aware 3D object generation designed to achieve high semantic decoupling among components while maintaining robust structural cohesion. OmniPart uniquely decouples this complex task into two synergistic stages: (1) an autoregressive structure planning module generates a controllable, variable-length sequence of 3D part bounding boxes, critically guided by flexible 2D part masks that allow for intuitive control over part decomposition without requiring direct correspondences or semantic labels; and (2) a spatially-conditioned rectified flow model, efficiently adapted from a pre-trained holistic 3D generator, synthesizes all 3D parts simultaneously and consistently within the planned layout. Our approach supports user-defined part granularity, precise localization, and enables diverse downstream applications. Extensive experiments demonstrate that OmniPart achieves state-of-the-art performance, paving the way for more interpretable, editable, and versatile 3D content.