HoloPart: Generatieve 3D Onderdeel Amodale Segmentatie

HoloPart: Generative 3D Part Amodal Segmentation

April 10, 2025

Auteurs: Yunhan Yang, Yuan-Chen Guo, Yukun Huang, Zi-Xin Zou, Zhipeng Yu, Yangguang Li, Yan-Pei Cao, Xihui Liu

cs.AI

Samenvatting

3D amodale partsegmentatie—het ontbinden van een 3D-vorm in complete, semantisch betekenisvolle delen, zelfs wanneer deze verborgen zijn—is een uitdagende maar cruciale taak voor het creëren en begrijpen van 3D-inhoud. Bestaande methoden voor 3D-partsegmentatie identificeren alleen zichtbare oppervlaktepatches, wat hun bruikbaarheid beperkt. Geïnspireerd door 2D amodale segmentatie, introduceren we deze nieuwe taak in het 3D-domein en stellen we een praktische, tweestapsaanpak voor, waarbij we de belangrijkste uitdagingen aanpakken van het afleiden van verborgen 3D-geometrie, het behouden van globale vormconsistentie en het omgaan met diverse vormen met beperkte trainingsdata. Eerst maken we gebruik van bestaande 3D-partsegmentatie om initiële, onvolledige partsegmenten te verkrijgen. Vervolgens introduceren we HoloPart, een nieuw op diffusie gebaseerd model, om deze segmenten aan te vullen tot volledige 3D-delen. HoloPart maakt gebruik van een gespecialiseerde architectuur met lokale aandacht om fijnmazige partgeometrie vast te leggen en globale vormcontextaandacht om de algehele vormconsistentie te waarborgen. We introduceren nieuwe benchmarks gebaseerd op de ABO- en PartObjaverse-Tiny-datasets en tonen aan dat HoloPart aanzienlijk beter presteert dan state-of-the-art vormaanvulmethoden. Door HoloPart te integreren met bestaande segmentatietechnieken, behalen we veelbelovende resultaten op het gebied van 3D amodale partsegmentatie, wat nieuwe mogelijkheden opent voor toepassingen in geometriebewerking, animatie en materiaaltoewijzing.

English

3D part amodal segmentation--decomposing a 3D shape into complete, semantically meaningful parts, even when occluded--is a challenging but crucial task for 3D content creation and understanding. Existing 3D part segmentation methods only identify visible surface patches, limiting their utility. Inspired by 2D amodal segmentation, we introduce this novel task to the 3D domain and propose a practical, two-stage approach, addressing the key challenges of inferring occluded 3D geometry, maintaining global shape consistency, and handling diverse shapes with limited training data. First, we leverage existing 3D part segmentation to obtain initial, incomplete part segments. Second, we introduce HoloPart, a novel diffusion-based model, to complete these segments into full 3D parts. HoloPart utilizes a specialized architecture with local attention to capture fine-grained part geometry and global shape context attention to ensure overall shape consistency. We introduce new benchmarks based on the ABO and PartObjaverse-Tiny datasets and demonstrate that HoloPart significantly outperforms state-of-the-art shape completion methods. By incorporating HoloPart with existing segmentation techniques, we achieve promising results on 3D part amodal segmentation, opening new avenues for applications in geometry editing, animation, and material assignment.