HoloPart: Segmentação Amodal de Partes 3D Generativa

HoloPart: Generative 3D Part Amodal Segmentation

April 10, 2025

Autores: Yunhan Yang, Yuan-Chen Guo, Yukun Huang, Zi-Xin Zou, Zhipeng Yu, Yangguang Li, Yan-Pei Cao, Xihui Liu

cs.AI

Resumo

A segmentação amodal de partes 3D—decompor uma forma 3D em partes completas e semanticamente significativas, mesmo quando ocluídas—é uma tarefa desafiadora, porém crucial, para a criação e compreensão de conteúdo 3D. Os métodos existentes de segmentação de partes 3D identificam apenas as superfícies visíveis, limitando sua utilidade. Inspirados pela segmentação amodal 2D, introduzimos essa nova tarefa no domínio 3D e propomos uma abordagem prática em duas etapas, abordando os principais desafios de inferir geometria 3D ocluída, manter a consistência global da forma e lidar com formas diversas com dados de treinamento limitados. Primeiro, aproveitamos a segmentação de partes 3D existente para obter segmentos iniciais e incompletos das partes. Em seguida, introduzimos o HoloPart, um novo modelo baseado em difusão, para completar esses segmentos em partes 3D completas. O HoloPart utiliza uma arquitetura especializada com atenção local para capturar a geometria detalhada das partes e atenção ao contexto global da forma para garantir a consistência geral da forma. Introduzimos novos benchmarks baseados nos conjuntos de dados ABO e PartObjaverse-Tiny e demonstramos que o HoloPart supera significativamente os métodos state-of-the-art de completamento de formas. Ao incorporar o HoloPart com técnicas de segmentação existentes, alcançamos resultados promissores na segmentação amodal de partes 3D, abrindo novas possibilidades para aplicações em edição de geometria, animação e atribuição de materiais.

English

3D part amodal segmentation--decomposing a 3D shape into complete, semantically meaningful parts, even when occluded--is a challenging but crucial task for 3D content creation and understanding. Existing 3D part segmentation methods only identify visible surface patches, limiting their utility. Inspired by 2D amodal segmentation, we introduce this novel task to the 3D domain and propose a practical, two-stage approach, addressing the key challenges of inferring occluded 3D geometry, maintaining global shape consistency, and handling diverse shapes with limited training data. First, we leverage existing 3D part segmentation to obtain initial, incomplete part segments. Second, we introduce HoloPart, a novel diffusion-based model, to complete these segments into full 3D parts. HoloPart utilizes a specialized architecture with local attention to capture fine-grained part geometry and global shape context attention to ensure overall shape consistency. We introduce new benchmarks based on the ABO and PartObjaverse-Tiny datasets and demonstrate that HoloPart significantly outperforms state-of-the-art shape completion methods. By incorporating HoloPart with existing segmentation techniques, we achieve promising results on 3D part amodal segmentation, opening new avenues for applications in geometry editing, animation, and material assignment.