OmniPart: Generazione 3D Consapevole delle Parti con Disaccoppiamento Semantico e Coesione Strutturale
OmniPart: Part-Aware 3D Generation with Semantic Decoupling and Structural Cohesion
July 8, 2025
Autori: Yunhan Yang, Yufan Zhou, Yuan-Chen Guo, Zi-Xin Zou, Yukun Huang, Ying-Tian Liu, Hao Xu, Ding Liang, Yan-Pei Cao, Xihui Liu
cs.AI
Abstract
La creazione di asset 3D con strutture di parti esplicite e modificabili è cruciale per lo sviluppo di applicazioni interattive, tuttavia la maggior parte dei metodi generativi produce solo forme monolitiche, limitandone l'utilità. Introduciamo OmniPart, un nuovo framework per la generazione di oggetti 3D con consapevolezza delle parti, progettato per ottenere un elevato disaccoppiamento semantico tra i componenti mantenendo una robusta coesione strutturale. OmniPart scompone in modo unico questo compito complesso in due fasi sinergiche: (1) un modulo di pianificazione della struttura autoregressiva genera una sequenza controllabile e di lunghezza variabile di bounding box 3D per le parti, guidata in modo critico da maschere 2D flessibili che consentono un controllo intuitivo sulla scomposizione delle parti senza richiedere corrispondenze dirette o etichette semantiche; e (2) un modello di flusso rettificato condizionato spazialmente, adattato in modo efficiente da un generatore 3D olistico pre-addestrato, sintetizza tutte le parti 3D simultaneamente e in modo coerente all'interno del layout pianificato. Il nostro approccio supporta una granularità delle parti definita dall'utente, una localizzazione precisa e abilita diverse applicazioni downstream. Esperimenti estensivi dimostrano che OmniPart raggiunge prestazioni all'avanguardia, aprendo la strada a contenuti 3D più interpretabili, modificabili e versatili.
English
The creation of 3D assets with explicit, editable part structures is crucial
for advancing interactive applications, yet most generative methods produce
only monolithic shapes, limiting their utility. We introduce OmniPart, a novel
framework for part-aware 3D object generation designed to achieve high semantic
decoupling among components while maintaining robust structural cohesion.
OmniPart uniquely decouples this complex task into two synergistic stages: (1)
an autoregressive structure planning module generates a controllable,
variable-length sequence of 3D part bounding boxes, critically guided by
flexible 2D part masks that allow for intuitive control over part decomposition
without requiring direct correspondences or semantic labels; and (2) a
spatially-conditioned rectified flow model, efficiently adapted from a
pre-trained holistic 3D generator, synthesizes all 3D parts simultaneously and
consistently within the planned layout. Our approach supports user-defined part
granularity, precise localization, and enables diverse downstream applications.
Extensive experiments demonstrate that OmniPart achieves state-of-the-art
performance, paving the way for more interpretable, editable, and versatile 3D
content.