OmniPart: Generación 3D Consciente de Partes con Desacoplamiento Semántico y Cohesión Estructural
OmniPart: Part-Aware 3D Generation with Semantic Decoupling and Structural Cohesion
July 8, 2025
Autores: Yunhan Yang, Yufan Zhou, Yuan-Chen Guo, Zi-Xin Zou, Yukun Huang, Ying-Tian Liu, Hao Xu, Ding Liang, Yan-Pei Cao, Xihui Liu
cs.AI
Resumen
La creación de activos 3D con estructuras de partes explícitas y editables es crucial para avanzar en aplicaciones interactivas, aunque la mayoría de los métodos generativos producen únicamente formas monolíticas, limitando su utilidad. Presentamos OmniPart, un marco novedoso para la generación de objetos 3D conscientes de las partes, diseñado para lograr un alto desacoplamiento semántico entre los componentes mientras mantiene una cohesión estructural robusta. OmniPart desacopla de manera única esta tarea compleja en dos etapas sinérgicas: (1) un módulo de planificación de estructura autoregresivo genera una secuencia controlable de longitud variable de cajas delimitadoras 3D de las partes, guiado críticamente por máscaras 2D flexibles que permiten un control intuitivo sobre la descomposición de partes sin requerir correspondencias directas o etiquetas semánticas; y (2) un modelo de flujo rectificado condicionado espacialmente, adaptado eficientemente a partir de un generador 3D holístico preentrenado, sintetiza todas las partes 3D de manera simultánea y consistente dentro del diseño planificado. Nuestro enfoque admite granularidad de partes definida por el usuario, localización precisa y habilita diversas aplicaciones posteriores. Experimentos exhaustivos demuestran que OmniPart alcanza un rendimiento de vanguardia, allanando el camino para contenido 3D más interpretable, editable y versátil.
English
The creation of 3D assets with explicit, editable part structures is crucial
for advancing interactive applications, yet most generative methods produce
only monolithic shapes, limiting their utility. We introduce OmniPart, a novel
framework for part-aware 3D object generation designed to achieve high semantic
decoupling among components while maintaining robust structural cohesion.
OmniPart uniquely decouples this complex task into two synergistic stages: (1)
an autoregressive structure planning module generates a controllable,
variable-length sequence of 3D part bounding boxes, critically guided by
flexible 2D part masks that allow for intuitive control over part decomposition
without requiring direct correspondences or semantic labels; and (2) a
spatially-conditioned rectified flow model, efficiently adapted from a
pre-trained holistic 3D generator, synthesizes all 3D parts simultaneously and
consistently within the planned layout. Our approach supports user-defined part
granularity, precise localization, and enables diverse downstream applications.
Extensive experiments demonstrate that OmniPart achieves state-of-the-art
performance, paving the way for more interpretable, editable, and versatile 3D
content.