OmniPart: 의미론적 분리와 구조적 통합을 통한 부품 인식 3D 생성
OmniPart: Part-Aware 3D Generation with Semantic Decoupling and Structural Cohesion
July 8, 2025
저자: Yunhan Yang, Yufan Zhou, Yuan-Chen Guo, Zi-Xin Zou, Yukun Huang, Ying-Tian Liu, Hao Xu, Ding Liang, Yan-Pei Cao, Xihui Liu
cs.AI
초록
명시적이고 편집 가능한 부품 구조를 가진 3D 자산의 생성은 인터랙티브 애플리케이션의 발전에 있어 핵심적이지만, 대부분의 생성 방법은 단일 형태만을 생성하여 그 유용성이 제한적입니다. 우리는 OmniPart라는 새로운 부품 인식 3D 객체 생성 프레임워크를 소개합니다. 이 프레임워크는 구성 요소 간의 높은 의미적 분리를 달성하면서도 견고한 구조적 응집력을 유지하도록 설계되었습니다. OmniPart는 이 복잡한 작업을 두 가지 상호 보완적인 단계로 독창적으로 분리합니다: (1) 자동회귀적 구조 계획 모듈은 직관적인 부품 분해를 가능하게 하는 유연한 2D 부품 마스크에 의해 결정적으로 안내되며, 직접적인 대응 관계나 의미적 레이블 없이도 제어 가능한 가변 길이의 3D 부품 경계 상자 시퀀스를 생성합니다; (2) 공간적으로 조건화된 정류 흐름 모델은 사전 훈련된 전체적 3D 생성기로부터 효율적으로 적응되어, 계획된 레이아웃 내에서 모든 3D 부품을 동시에 일관성 있게 합성합니다. 우리의 접근 방식은 사용자 정의 부품 세분화, 정확한 위치 지정을 지원하며 다양한 다운스트림 애플리케이션을 가능하게 합니다. 광범위한 실험을 통해 OmniPart가 최첨단 성능을 달성함을 입증하며, 더 해석 가능하고 편집 가능하며 다용도로 사용할 수 있는 3D 콘텐츠의 길을 열어줍니다.
English
The creation of 3D assets with explicit, editable part structures is crucial
for advancing interactive applications, yet most generative methods produce
only monolithic shapes, limiting their utility. We introduce OmniPart, a novel
framework for part-aware 3D object generation designed to achieve high semantic
decoupling among components while maintaining robust structural cohesion.
OmniPart uniquely decouples this complex task into two synergistic stages: (1)
an autoregressive structure planning module generates a controllable,
variable-length sequence of 3D part bounding boxes, critically guided by
flexible 2D part masks that allow for intuitive control over part decomposition
without requiring direct correspondences or semantic labels; and (2) a
spatially-conditioned rectified flow model, efficiently adapted from a
pre-trained holistic 3D generator, synthesizes all 3D parts simultaneously and
consistently within the planned layout. Our approach supports user-defined part
granularity, precise localization, and enables diverse downstream applications.
Extensive experiments demonstrate that OmniPart achieves state-of-the-art
performance, paving the way for more interpretable, editable, and versatile 3D
content.