OmniPart: Teilbewusste 3D-Generierung mit semantischer Entkopplung und struktureller Kohäsion
OmniPart: Part-Aware 3D Generation with Semantic Decoupling and Structural Cohesion
July 8, 2025
papers.authors: Yunhan Yang, Yufan Zhou, Yuan-Chen Guo, Zi-Xin Zou, Yukun Huang, Ying-Tian Liu, Hao Xu, Ding Liang, Yan-Pei Cao, Xihui Liu
cs.AI
papers.abstract
Die Erstellung von 3D-Assets mit expliziten, bearbeitbaren Teilstrukturen ist entscheidend für die Weiterentwicklung interaktiver Anwendungen, doch die meisten generativen Methoden erzeugen nur monolithische Formen, was ihre Nützlichkeit einschränkt. Wir stellen OmniPart vor, ein neuartiges Framework für die teilbewusste 3D-Objekterzeugung, das darauf abzielt, eine hohe semantische Entkopplung zwischen den Komponenten zu erreichen, während gleichzeitig eine robuste strukturelle Kohäsion gewährleistet wird. OmniPart entkoppelt diese komplexe Aufgabe einzigartig in zwei synergetische Phasen: (1) Ein autoregressives Strukturplanungsmodul erzeugt eine kontrollierbare, variabel lange Sequenz von 3D-Teilbegrenzungsrahmen, die entscheidend durch flexible 2D-Teilmasken geleitet wird, die eine intuitive Kontrolle über die Teilzerlegung ermöglichen, ohne direkte Entsprechungen oder semantische Labels zu erfordern; und (2) Ein räumlich bedingtes Rectified-Flow-Modell, das effizient aus einem vortrainierten holistischen 3D-Generator adaptiert wurde, synthetisiert alle 3D-Teile gleichzeitig und konsistent innerhalb des geplanten Layouts. Unser Ansatz unterstützt benutzerdefinierte Teilgranularität, präzise Lokalisierung und ermöglicht vielfältige nachgelagerte Anwendungen. Umfangreiche Experimente zeigen, dass OmniPart state-of-the-art Leistung erzielt und den Weg für interpretierbarere, bearbeitbarere und vielseitigere 3D-Inhalte ebnet.
English
The creation of 3D assets with explicit, editable part structures is crucial
for advancing interactive applications, yet most generative methods produce
only monolithic shapes, limiting their utility. We introduce OmniPart, a novel
framework for part-aware 3D object generation designed to achieve high semantic
decoupling among components while maintaining robust structural cohesion.
OmniPart uniquely decouples this complex task into two synergistic stages: (1)
an autoregressive structure planning module generates a controllable,
variable-length sequence of 3D part bounding boxes, critically guided by
flexible 2D part masks that allow for intuitive control over part decomposition
without requiring direct correspondences or semantic labels; and (2) a
spatially-conditioned rectified flow model, efficiently adapted from a
pre-trained holistic 3D generator, synthesizes all 3D parts simultaneously and
consistently within the planned layout. Our approach supports user-defined part
granularity, precise localization, and enables diverse downstream applications.
Extensive experiments demonstrate that OmniPart achieves state-of-the-art
performance, paving the way for more interpretable, editable, and versatile 3D
content.