HoloPart: 생성적 3D 부품 비모달 분할

HoloPart: Generative 3D Part Amodal Segmentation

April 10, 2025

저자: Yunhan Yang, Yuan-Chen Guo, Yukun Huang, Zi-Xin Zou, Zhipeng Yu, Yangguang Li, Yan-Pei Cao, Xihui Liu

cs.AI

초록

3D 부분 비가시적 분할(amodal segmentation)은 가려진 부분까지 포함하여 3D 형태를 완전하고 의미론적으로 의미 있는 부분으로 분해하는 작업으로, 3D 콘텐츠 생성 및 이해를 위한 도전적이면서도 중요한 과제입니다. 기존의 3D 부분 분할 방법은 가시적인 표면 패치만을 식별하므로 그 유용성이 제한적이었습니다. 2D 비가시적 분할에서 영감을 받아, 우리는 이 새로운 과제를 3D 영역에 도입하고, 가려진 3D 형상을 추론하고, 전반적인 형태 일관성을 유지하며, 제한된 학습 데이터로 다양한 형태를 처리하는 핵심 과제를 해결하는 실용적인 두 단계 접근 방식을 제안합니다. 먼저, 기존의 3D 부분 분할을 활용하여 초기 불완전한 부분 세그먼트를 얻습니다. 두 번째로, 이러한 세그먼트를 완전한 3D 부분으로 완성하기 위해 새로운 확산 기반 모델인 HoloPart를 소개합니다. HoloPart는 세밀한 부분 형상을 포착하기 위한 지역적 주의 메커니즘과 전반적인 형태 일관성을 보장하기 위한 전역적 형태 문맥 주의 메커니즘을 갖춘 특수한 아키텍처를 활용합니다. 우리는 ABO 및 PartObjaverse-Tiny 데이터셋을 기반으로 새로운 벤치마크를 도입하고, HoloPart가 최신 형상 완성 방법을 크게 능가함을 입증합니다. HoloPart를 기존 분할 기술과 결합함으로써, 3D 부분 비가시적 분할에서 유망한 결과를 달성하며, 형상 편집, 애니메이션, 재질 할당 등 다양한 응용 분야에 새로운 가능성을 열었습니다.

English

3D part amodal segmentation--decomposing a 3D shape into complete, semantically meaningful parts, even when occluded--is a challenging but crucial task for 3D content creation and understanding. Existing 3D part segmentation methods only identify visible surface patches, limiting their utility. Inspired by 2D amodal segmentation, we introduce this novel task to the 3D domain and propose a practical, two-stage approach, addressing the key challenges of inferring occluded 3D geometry, maintaining global shape consistency, and handling diverse shapes with limited training data. First, we leverage existing 3D part segmentation to obtain initial, incomplete part segments. Second, we introduce HoloPart, a novel diffusion-based model, to complete these segments into full 3D parts. HoloPart utilizes a specialized architecture with local attention to capture fine-grained part geometry and global shape context attention to ensure overall shape consistency. We introduce new benchmarks based on the ABO and PartObjaverse-Tiny datasets and demonstrate that HoloPart significantly outperforms state-of-the-art shape completion methods. By incorporating HoloPart with existing segmentation techniques, we achieve promising results on 3D part amodal segmentation, opening new avenues for applications in geometry editing, animation, and material assignment.