HoloPart: 生成的な3Dパーツのアモーダルセグメンテーション

HoloPart: Generative 3D Part Amodal Segmentation

April 10, 2025

著者: Yunhan Yang, Yuan-Chen Guo, Yukun Huang, Zi-Xin Zou, Zhipeng Yu, Yangguang Li, Yan-Pei Cao, Xihui Liu

cs.AI

要旨

3Dパートアモーダルセグメンテーション――3D形状を完全で意味的に意味のあるパーツに分解し、隠蔽されている部分も含めて認識する――は、3Dコンテンツの作成と理解において困難ながらも重要な課題です。既存の3Dパートセグメンテーション手法は、可視表面パッチのみを識別するため、その有用性が制限されています。2Dアモーダルセグメンテーションに着想を得て、我々はこの新たな課題を3D領域に導入し、隠蔽された3Dジオメトリの推論、グローバルな形状の一貫性の維持、限られたトレーニングデータでの多様な形状の処理といった主要な課題に対処する実用的な2段階アプローチを提案します。まず、既存の3Dパートセグメンテーションを活用して初期の不完全なパートセグメントを取得します。次に、これらのセグメントを完全な3Dパーツに完成させるために、新しい拡散ベースのモデルであるHoloPartを導入します。HoloPartは、細かなパートジオメトリを捉えるためのローカルアテンションと、全体の形状一貫性を確保するためのグローバル形状コンテキストアテンションを備えた特殊なアーキテクチャを採用しています。ABOおよびPartObjaverse-Tinyデータセットに基づく新しいベンチマークを導入し、HoloPartが最先端の形状補完手法を大幅に上回ることを実証します。既存のセグメンテーション技術にHoloPartを組み込むことで、3Dパートアモーダルセグメンテーションにおいて有望な結果を得て、ジオメトリ編集、アニメーション、マテリアル割り当てといったアプリケーションへの新たな道を開きます。

English

3D part amodal segmentation--decomposing a 3D shape into complete, semantically meaningful parts, even when occluded--is a challenging but crucial task for 3D content creation and understanding. Existing 3D part segmentation methods only identify visible surface patches, limiting their utility. Inspired by 2D amodal segmentation, we introduce this novel task to the 3D domain and propose a practical, two-stage approach, addressing the key challenges of inferring occluded 3D geometry, maintaining global shape consistency, and handling diverse shapes with limited training data. First, we leverage existing 3D part segmentation to obtain initial, incomplete part segments. Second, we introduce HoloPart, a novel diffusion-based model, to complete these segments into full 3D parts. HoloPart utilizes a specialized architecture with local attention to capture fine-grained part geometry and global shape context attention to ensure overall shape consistency. We introduce new benchmarks based on the ABO and PartObjaverse-Tiny datasets and demonstrate that HoloPart significantly outperforms state-of-the-art shape completion methods. By incorporating HoloPart with existing segmentation techniques, we achieve promising results on 3D part amodal segmentation, opening new avenues for applications in geometry editing, animation, and material assignment.