HoloPart: Generative 3D Amodale Segmentierung von Teilen

HoloPart: Generative 3D Part Amodal Segmentation

April 10, 2025

Autoren: Yunhan Yang, Yuan-Chen Guo, Yukun Huang, Zi-Xin Zou, Zhipeng Yu, Yangguang Li, Yan-Pei Cao, Xihui Liu

cs.AI

Zusammenfassung

Die 3D-Part-Amodalsegmentierung – die Zerlegung einer 3D-Form in vollständige, semantisch bedeutungsvolle Teile, auch bei Verdeckung – ist eine anspruchsvolle, aber entscheidende Aufgabe für die Erstellung und das Verständnis von 3D-Inhalten. Bisherige Methoden zur 3D-Partsegmentierung identifizieren lediglich sichtbare Oberflächenbereiche, was ihre Nützlichkeit einschränkt. Inspiriert von der 2D-Amodalsegmentierung führen wir diese neuartige Aufgabe in den 3D-Bereich ein und schlagen einen praktischen, zweistufigen Ansatz vor, der die zentralen Herausforderungen der Inferenz verdeckter 3D-Geometrie, der Wahrung globaler Formkonsistenz und der Handhabung vielfältiger Formen mit begrenzten Trainingsdaten adressiert. Zunächst nutzen wir bestehende 3D-Partsegmentierung, um initiale, unvollständige Partsegmente zu erhalten. Anschließend führen wir HoloPart vor, ein neuartiges, diffusionsbasiertes Modell, das diese Segmente zu vollständigen 3D-Teilen vervollständigt. HoloPart verwendet eine spezialisierte Architektur mit lokaler Aufmerksamkeit, um fein abgestufte Partgeometrien zu erfassen, und globaler Formkontext-Aufmerksamkeit, um die Gesamtformkonsistenz sicherzustellen. Wir stellen neue Benchmarks basierend auf den Datensätzen ABO und PartObjaverse-Tiny vor und zeigen, dass HoloPart state-of-the-art Methoden zur Formvervollständigung deutlich übertrifft. Durch die Integration von HoloPart mit bestehenden Segmentierungstechniken erzielen wir vielversprechende Ergebnisse bei der 3D-Part-Amodalsegmentierung und eröffnen neue Anwendungsmöglichkeiten in den Bereichen Geometriebearbeitung, Animation und Materialzuweisung.

English

3D part amodal segmentation--decomposing a 3D shape into complete, semantically meaningful parts, even when occluded--is a challenging but crucial task for 3D content creation and understanding. Existing 3D part segmentation methods only identify visible surface patches, limiting their utility. Inspired by 2D amodal segmentation, we introduce this novel task to the 3D domain and propose a practical, two-stage approach, addressing the key challenges of inferring occluded 3D geometry, maintaining global shape consistency, and handling diverse shapes with limited training data. First, we leverage existing 3D part segmentation to obtain initial, incomplete part segments. Second, we introduce HoloPart, a novel diffusion-based model, to complete these segments into full 3D parts. HoloPart utilizes a specialized architecture with local attention to capture fine-grained part geometry and global shape context attention to ensure overall shape consistency. We introduce new benchmarks based on the ABO and PartObjaverse-Tiny datasets and demonstrate that HoloPart significantly outperforms state-of-the-art shape completion methods. By incorporating HoloPart with existing segmentation techniques, we achieve promising results on 3D part amodal segmentation, opening new avenues for applications in geometry editing, animation, and material assignment.