HoloPart: Segmentación Amodal Generativa de Partes 3D

HoloPart: Generative 3D Part Amodal Segmentation

April 10, 2025

Autores: Yunhan Yang, Yuan-Chen Guo, Yukun Huang, Zi-Xin Zou, Zhipeng Yu, Yangguang Li, Yan-Pei Cao, Xihui Liu

cs.AI

Resumen

La segmentación amodal de partes 3D—descomponer una forma 3D en partes completas y semánticamente significativas, incluso cuando están ocluidas—es una tarea desafiante pero crucial para la creación y comprensión de contenido 3D. Los métodos existentes de segmentación de partes 3D solo identifican parches de superficie visibles, lo que limita su utilidad. Inspirados por la segmentación amodal en 2D, introducimos esta novedosa tarea en el dominio 3D y proponemos un enfoque práctico de dos etapas, abordando los desafíos clave de inferir la geometría 3D ocluida, mantener la consistencia global de la forma y manejar formas diversas con datos de entrenamiento limitados. Primero, aprovechamos la segmentación de partes 3D existente para obtener segmentos iniciales incompletos. Segundo, presentamos HoloPart, un modelo novedoso basado en difusión, para completar estos segmentos en partes 3D completas. HoloPart utiliza una arquitectura especializada con atención local para capturar la geometría detallada de las partes y atención al contexto global de la forma para garantizar la consistencia general de la misma. Introducimos nuevos puntos de referencia basados en los conjuntos de datos ABO y PartObjaverse-Tiny y demostramos que HoloPart supera significativamente a los métodos más avanzados de completado de formas. Al incorporar HoloPart con técnicas de segmentación existentes, logramos resultados prometedores en la segmentación amodal de partes 3D, abriendo nuevas vías para aplicaciones en edición de geometría, animación y asignación de materiales.

English

3D part amodal segmentation--decomposing a 3D shape into complete, semantically meaningful parts, even when occluded--is a challenging but crucial task for 3D content creation and understanding. Existing 3D part segmentation methods only identify visible surface patches, limiting their utility. Inspired by 2D amodal segmentation, we introduce this novel task to the 3D domain and propose a practical, two-stage approach, addressing the key challenges of inferring occluded 3D geometry, maintaining global shape consistency, and handling diverse shapes with limited training data. First, we leverage existing 3D part segmentation to obtain initial, incomplete part segments. Second, we introduce HoloPart, a novel diffusion-based model, to complete these segments into full 3D parts. HoloPart utilizes a specialized architecture with local attention to capture fine-grained part geometry and global shape context attention to ensure overall shape consistency. We introduce new benchmarks based on the ABO and PartObjaverse-Tiny datasets and demonstrate that HoloPart significantly outperforms state-of-the-art shape completion methods. By incorporating HoloPart with existing segmentation techniques, we achieve promising results on 3D part amodal segmentation, opening new avenues for applications in geometry editing, animation, and material assignment.