P3-SAM: 네이티브 3D 부품 분할

초록

3D 자산을 구성 요소로 분할하는 것은 3D 이해를 향상시키고, 모델 재사용을 용이하게 하며, 부품 생성과 같은 다양한 애플리케이션을 지원하는 데 중요합니다. 그러나 현재의 방법들은 복잡한 객체를 다룰 때 낮은 견고성을 보이는 한편, 프로세스를 완전히 자동화하지 못하는 한계가 있습니다. 본 논문에서는 모든 3D 객체를 구성 요소로 완전히 자동 분할할 수 있도록 설계된 P3-SAM이라는 네이티브 3D 포인트 프롬프트 가능 부품 분할 모델을 제안합니다. SAM에서 영감을 받은 P3-SAM은 특징 추출기, 다중 분할 헤드 및 IoU 예측기로 구성되어 사용자에게 인터랙티브한 분할을 가능하게 합니다. 또한, 우리는 모델이 예측한 마스크를 자동으로 선택하고 병합하여 부품 인스턴스 분할을 수행하는 알고리즘을 제안합니다. 우리의 모델은 합리적인 분할 레이블이 포함된 약 370만 개의 모델로 구성된 새로운 데이터셋에서 학습되었습니다. 비교 결과, 우리의 방법은 복잡한 객체에서도 정밀한 분할 결과와 강력한 견고성을 달성하며 최첨단 성능을 보여줍니다. 우리의 코드는 곧 공개될 예정입니다.

English

Segmenting 3D assets into their constituent parts is crucial for enhancing 3D understanding, facilitating model reuse, and supporting various applications such as part generation. However, current methods face limitations such as poor robustness when dealing with complex objects and cannot fully automate the process. In this paper, we propose a native 3D point-promptable part segmentation model termed P3-SAM, designed to fully automate the segmentation of any 3D objects into components. Inspired by SAM, P3-SAM consists of a feature extractor, multiple segmentation heads, and an IoU predictor, enabling interactive segmentation for users. We also propose an algorithm to automatically select and merge masks predicted by our model for part instance segmentation. Our model is trained on a newly built dataset containing nearly 3.7 million models with reasonable segmentation labels. Comparisons show that our method achieves precise segmentation results and strong robustness on any complex objects, attaining state-of-the-art performance. Our code will be released soon.

P3-SAM: 네이티브 3D 부품 분할

P3-SAM: Native 3D Part Segmentation

초록

Support