HoloPart: Генеративная амодальная сегментация 3D-частей

HoloPart: Generative 3D Part Amodal Segmentation

April 10, 2025

Авторы: Yunhan Yang, Yuan-Chen Guo, Yukun Huang, Zi-Xin Zou, Zhipeng Yu, Yangguang Li, Yan-Pei Cao, Xihui Liu

cs.AI

Аннотация

3D амодальная сегментация частей — декомпозиция 3D-формы на полные, семантически значимые части, даже при наличии окклюзий, — является сложной, но важной задачей для создания и понимания 3D-контента. Существующие методы 3D-сегментации частей идентифицируют только видимые участки поверхности, что ограничивает их полезность. Вдохновленные 2D амодальной сегментацией, мы вводим эту новую задачу в 3D-область и предлагаем практический двухэтапный подход, решающий ключевые проблемы: восстановление окклюдированной 3D-геометрии, сохранение глобальной согласованности формы и обработка разнообразных форм при ограниченных данных для обучения. Сначала мы используем существующие методы 3D-сегментации частей для получения начальных, неполных сегментов частей. Затем мы представляем HoloPart — новую модель на основе диффузии, которая завершает эти сегменты до полных 3D-частей. HoloPart использует специализированную архитектуру с локальным вниманием для захвата детальной геометрии частей и глобальным вниманием к контексту формы для обеспечения общей согласованности формы. Мы вводим новые бенчмарки на основе наборов данных ABO и PartObjaverse-Tiny и показываем, что HoloPart значительно превосходит современные методы завершения форм. Интегрируя HoloPart с существующими методами сегментации, мы достигаем впечатляющих результатов в 3D амодальной сегментации частей, открывая новые возможности для применения в редактировании геометрии, анимации и назначении материалов.

English

3D part amodal segmentation--decomposing a 3D shape into complete, semantically meaningful parts, even when occluded--is a challenging but crucial task for 3D content creation and understanding. Existing 3D part segmentation methods only identify visible surface patches, limiting their utility. Inspired by 2D amodal segmentation, we introduce this novel task to the 3D domain and propose a practical, two-stage approach, addressing the key challenges of inferring occluded 3D geometry, maintaining global shape consistency, and handling diverse shapes with limited training data. First, we leverage existing 3D part segmentation to obtain initial, incomplete part segments. Second, we introduce HoloPart, a novel diffusion-based model, to complete these segments into full 3D parts. HoloPart utilizes a specialized architecture with local attention to capture fine-grained part geometry and global shape context attention to ensure overall shape consistency. We introduce new benchmarks based on the ABO and PartObjaverse-Tiny datasets and demonstrate that HoloPart significantly outperforms state-of-the-art shape completion methods. By incorporating HoloPart with existing segmentation techniques, we achieve promising results on 3D part amodal segmentation, opening new avenues for applications in geometry editing, animation, and material assignment.