OmniPart: Geração 3D Consciente de Partes com Desacoplamento Semântico e Coesão Estrutural

OmniPart: Part-Aware 3D Generation with Semantic Decoupling and Structural Cohesion

July 8, 2025

Autores: Yunhan Yang, Yufan Zhou, Yuan-Chen Guo, Zi-Xin Zou, Yukun Huang, Ying-Tian Liu, Hao Xu, Ding Liang, Yan-Pei Cao, Xihui Liu

cs.AI

Resumo

A criação de ativos 3D com estruturas de partes explícitas e editáveis é crucial para o avanço de aplicações interativas, mas a maioria dos métodos generativos produz apenas formas monolíticas, limitando sua utilidade. Apresentamos o OmniPart, uma nova estrutura para geração de objetos 3D com consciência de partes, projetada para alcançar alto desacoplamento semântico entre os componentes, mantendo uma coesão estrutural robusta. O OmniPart desacopla de forma única essa tarefa complexa em dois estágios sinérgicos: (1) um módulo de planejamento de estrutura autoregressiva gera uma sequência controlável e de comprimento variável de caixas delimitadoras de partes 3D, guiada criticamente por máscaras de partes 2D flexíveis que permitem controle intuitivo sobre a decomposição de partes sem exigir correspondências diretas ou rótulos semânticos; e (2) um modelo de fluxo retificado condicionado espacialmente, adaptado de forma eficiente a partir de um gerador 3D holístico pré-treinado, sintetiza todas as partes 3D simultaneamente e de forma consistente dentro do layout planejado. Nossa abordagem suporta granularidade de partes definida pelo usuário, localização precisa e permite diversas aplicações subsequentes. Experimentos extensivos demonstram que o OmniPart alcança desempenho de ponta, abrindo caminho para conteúdo 3D mais interpretável, editável e versátil.

English

The creation of 3D assets with explicit, editable part structures is crucial for advancing interactive applications, yet most generative methods produce only monolithic shapes, limiting their utility. We introduce OmniPart, a novel framework for part-aware 3D object generation designed to achieve high semantic decoupling among components while maintaining robust structural cohesion. OmniPart uniquely decouples this complex task into two synergistic stages: (1) an autoregressive structure planning module generates a controllable, variable-length sequence of 3D part bounding boxes, critically guided by flexible 2D part masks that allow for intuitive control over part decomposition without requiring direct correspondences or semantic labels; and (2) a spatially-conditioned rectified flow model, efficiently adapted from a pre-trained holistic 3D generator, synthesizes all 3D parts simultaneously and consistently within the planned layout. Our approach supports user-defined part granularity, precise localization, and enables diverse downstream applications. Extensive experiments demonstrate that OmniPart achieves state-of-the-art performance, paving the way for more interpretable, editable, and versatile 3D content.