OmniPart: Part-bewuste 3D-generatie met semantische ontkoppeling en structurele samenhang

OmniPart: Part-Aware 3D Generation with Semantic Decoupling and Structural Cohesion

July 8, 2025

Auteurs: Yunhan Yang, Yufan Zhou, Yuan-Chen Guo, Zi-Xin Zou, Yukun Huang, Ying-Tian Liu, Hao Xu, Ding Liang, Yan-Pei Cao, Xihui Liu

cs.AI

Samenvatting

Het creëren van 3D-assets met expliciete, bewerkbare onderdeelstructuren is cruciaal voor het bevorderen van interactieve toepassingen, maar de meeste generatieve methoden produceren slechts monolithische vormen, wat hun bruikbaarheid beperkt. Wij introduceren OmniPart, een nieuw raamwerk voor part-aware 3D-objectgeneratie, ontworpen om een hoge semantische ontkoppeling tussen componenten te bereiken terwijl robuuste structurele samenhang behouden blijft. OmniPart ontkoppelt deze complexe taak uniek in twee synergetische fasen: (1) een autoregressieve structuurplanningsmodule genereert een controleerbare, variabele-lengte reeks van 3D-onderdeelbegrenzingsvakken, kritisch geleid door flexibele 2D-onderdeelmaskers die intuïtieve controle over onderdeelontleding mogelijk maken zonder directe correspondenties of semantische labels te vereisen; en (2) een ruimtelijk geconditioneerd rectified flow-model, efficiënt aangepast van een vooraf getrainde holistische 3D-generator, synthetiseert alle 3D-onderdelen gelijktijdig en consistent binnen de geplande lay-out. Onze aanpak ondersteunt door de gebruiker gedefinieerde onderdeelgranulariteit, precieze lokalisatie, en maakt diverse downstream-toepassingen mogelijk. Uitgebreide experimenten tonen aan dat OmniPart state-of-the-art prestaties bereikt, wat de weg vrijmaakt voor meer interpreteerbare, bewerkbare en veelzijdige 3D-inhoud.

English

The creation of 3D assets with explicit, editable part structures is crucial for advancing interactive applications, yet most generative methods produce only monolithic shapes, limiting their utility. We introduce OmniPart, a novel framework for part-aware 3D object generation designed to achieve high semantic decoupling among components while maintaining robust structural cohesion. OmniPart uniquely decouples this complex task into two synergistic stages: (1) an autoregressive structure planning module generates a controllable, variable-length sequence of 3D part bounding boxes, critically guided by flexible 2D part masks that allow for intuitive control over part decomposition without requiring direct correspondences or semantic labels; and (2) a spatially-conditioned rectified flow model, efficiently adapted from a pre-trained holistic 3D generator, synthesizes all 3D parts simultaneously and consistently within the planned layout. Our approach supports user-defined part granularity, precise localization, and enables diverse downstream applications. Extensive experiments demonstrate that OmniPart achieves state-of-the-art performance, paving the way for more interpretable, editable, and versatile 3D content.