OmniPart: Частно-ориентированная 3D-генерация с семантическим разделением и структурной целостностью
OmniPart: Part-Aware 3D Generation with Semantic Decoupling and Structural Cohesion
July 8, 2025
Авторы: Yunhan Yang, Yufan Zhou, Yuan-Chen Guo, Zi-Xin Zou, Yukun Huang, Ying-Tian Liu, Hao Xu, Ding Liang, Yan-Pei Cao, Xihui Liu
cs.AI
Аннотация
Создание 3D-объектов с явной и редактируемой структурой частей имеет ключевое значение для развития интерактивных приложений, однако большинство генеративных методов производят только монолитные формы, что ограничивает их полезность. Мы представляем OmniPart — новый фреймворк для генерации 3D-объектов с учетом частей, который обеспечивает высокую семантическую декомпозицию компонентов при сохранении устойчивой структурной связности. OmniPart уникальным образом разделяет эту сложную задачу на два синергетических этапа: (1) авторегрессионный модуль планирования структуры генерирует управляемую последовательность 3D-ограничивающих рамок для частей переменной длины, критически направляемую гибкими 2D-масками частей, что позволяет интуитивно управлять декомпозицией частей без необходимости прямых соответствий или семантических меток; и (2) пространственно-условная модель исправленного потока, эффективно адаптированная из предварительно обученного генератора целостных 3D-объектов, синтезирует все 3D-части одновременно и согласованно в рамках запланированной компоновки. Наш подход поддерживает задаваемую пользователем гранулярность частей, точную локализацию и открывает возможности для разнообразных приложений. Многочисленные эксперименты демонстрируют, что OmniPart достигает передовых показателей, прокладывая путь к более интерпретируемому, редактируемому и универсальному 3D-контенту.
English
The creation of 3D assets with explicit, editable part structures is crucial
for advancing interactive applications, yet most generative methods produce
only monolithic shapes, limiting their utility. We introduce OmniPart, a novel
framework for part-aware 3D object generation designed to achieve high semantic
decoupling among components while maintaining robust structural cohesion.
OmniPart uniquely decouples this complex task into two synergistic stages: (1)
an autoregressive structure planning module generates a controllable,
variable-length sequence of 3D part bounding boxes, critically guided by
flexible 2D part masks that allow for intuitive control over part decomposition
without requiring direct correspondences or semantic labels; and (2) a
spatially-conditioned rectified flow model, efficiently adapted from a
pre-trained holistic 3D generator, synthesizes all 3D parts simultaneously and
consistently within the planned layout. Our approach supports user-defined part
granularity, precise localization, and enables diverse downstream applications.
Extensive experiments demonstrate that OmniPart achieves state-of-the-art
performance, paving the way for more interpretable, editable, and versatile 3D
content.