P3-SAM：ネイティブ3Dパーツセグメンテーション

要旨

3Dアセットを構成要素に分割することは、3D理解の向上、モデルの再利用の促進、パーツ生成などの様々なアプリケーションをサポートする上で重要です。しかし、現在の手法は、複雑なオブジェクトを扱う際のロバスト性の低さや、プロセスの完全な自動化ができないといった課題に直面しています。本論文では、任意の3Dオブジェクトを構成要素に完全に自動で分割するために設計された、ネイティブ3Dポイントプロンプト可能なパーツセグメンテーションモデル「P3-SAM」を提案します。SAMにインスパイアされたP3-SAMは、特徴抽出器、複数のセグメンテーションヘッド、およびIoU予測器で構成され、ユーザーに対してインタラクティブなセグメンテーションを可能にします。また、パーツインスタンスセグメンテーションのために、モデルが予測したマスクを自動的に選択・統合するアルゴリズムも提案します。本モデルは、合理的なセグメンテーションラベルを持つ約370万のモデルを含む新たに構築されたデータセットで学習されています。比較実験の結果、本手法は複雑なオブジェクトに対しても正確なセグメンテーション結果と高いロバスト性を達成し、最先端の性能を実現しています。コードは近日中に公開予定です。

English

Segmenting 3D assets into their constituent parts is crucial for enhancing 3D understanding, facilitating model reuse, and supporting various applications such as part generation. However, current methods face limitations such as poor robustness when dealing with complex objects and cannot fully automate the process. In this paper, we propose a native 3D point-promptable part segmentation model termed P3-SAM, designed to fully automate the segmentation of any 3D objects into components. Inspired by SAM, P3-SAM consists of a feature extractor, multiple segmentation heads, and an IoU predictor, enabling interactive segmentation for users. We also propose an algorithm to automatically select and merge masks predicted by our model for part instance segmentation. Our model is trained on a newly built dataset containing nearly 3.7 million models with reasonable segmentation labels. Comparisons show that our method achieves precise segmentation results and strong robustness on any complex objects, attaining state-of-the-art performance. Our code will be released soon.

P3-SAM：ネイティブ3Dパーツセグメンテーション

P3-SAM: Native 3D Part Segmentation

要旨

Support