HoloPart : Segmentation Amodale de Pièces 3D Générative

HoloPart: Generative 3D Part Amodal Segmentation

April 10, 2025

Auteurs: Yunhan Yang, Yuan-Chen Guo, Yukun Huang, Zi-Xin Zou, Zhipeng Yu, Yangguang Li, Yan-Pei Cao, Xihui Liu

cs.AI

Résumé

La segmentation amodale de parties 3D – décomposer une forme 3D en parties complètes et sémantiquement significatives, même lorsqu'elles sont occluses – est une tâche complexe mais cruciale pour la création et la compréhension de contenus 3D. Les méthodes existantes de segmentation de parties 3D ne parviennent qu'à identifier les patches de surface visibles, limitant ainsi leur utilité. Inspirés par la segmentation amodale en 2D, nous introduisons cette nouvelle tâche dans le domaine 3D et proposons une approche pratique en deux étapes, abordant les défis clés que sont l'inférence de la géométrie 3D occluse, le maintien de la cohérence globale de la forme et la gestion de formes variées avec des données d'entraînement limitées. Premièrement, nous exploitons les techniques existantes de segmentation de parties 3D pour obtenir des segments de parties initiaux et incomplets. Deuxièmement, nous introduisons HoloPart, un nouveau modèle basé sur la diffusion, pour compléter ces segments en parties 3D complètes. HoloPart utilise une architecture spécialisée avec une attention locale pour capturer la géométrie fine des parties et une attention contextuelle globale pour assurer la cohérence de la forme globale. Nous introduisons de nouveaux benchmarks basés sur les ensembles de données ABO et PartObjaverse-Tiny et démontrons que HoloPart surpasse significativement les méthodes de complétion de formes de pointe. En intégrant HoloPart avec les techniques de segmentation existantes, nous obtenons des résultats prometteurs en segmentation amodale de parties 3D, ouvrant de nouvelles perspectives pour des applications dans l'édition de géométrie, l'animation et l'assignation de matériaux.

English

3D part amodal segmentation--decomposing a 3D shape into complete, semantically meaningful parts, even when occluded--is a challenging but crucial task for 3D content creation and understanding. Existing 3D part segmentation methods only identify visible surface patches, limiting their utility. Inspired by 2D amodal segmentation, we introduce this novel task to the 3D domain and propose a practical, two-stage approach, addressing the key challenges of inferring occluded 3D geometry, maintaining global shape consistency, and handling diverse shapes with limited training data. First, we leverage existing 3D part segmentation to obtain initial, incomplete part segments. Second, we introduce HoloPart, a novel diffusion-based model, to complete these segments into full 3D parts. HoloPart utilizes a specialized architecture with local attention to capture fine-grained part geometry and global shape context attention to ensure overall shape consistency. We introduce new benchmarks based on the ABO and PartObjaverse-Tiny datasets and demonstrate that HoloPart significantly outperforms state-of-the-art shape completion methods. By incorporating HoloPart with existing segmentation techniques, we achieve promising results on 3D part amodal segmentation, opening new avenues for applications in geometry editing, animation, and material assignment.