SegviGen: Reutilización de un Modelo Generativo 3D para Segmentación de Partes
SegviGen: Repurposing 3D Generative Model for Part Segmentation
March 17, 2026
Autores: Lin Li, Haoran Feng, Zehuan Huang, Haohua Chen, Wenbo Nie, Shaohua Hou, Keqing Fan, Pan Hu, Sheng Wang, Buyu Li, Lu Sheng
cs.AI
Resumen
Presentamos SegviGen, un marco que readapta modelos generativos 3D nativos para la segmentación de partes en 3D. Las metodologías existentes o bien trasladan *priors* 2D robustos a 3D mediante destilación o agregación de máscaras multi-vista, sufriendo a menudo de inconsistencias entre vistas y bordes difusos, o bien exploran la segmentación discriminativa 3D nativa, que normalmente requiere grandes volúmenes de datos 3D anotados y recursos de entrenamiento sustanciales. En contraste, SegviGen aprovecha los *priors* estructurados codificados en un modelo generativo 3D preentrenado para inducir la segmentación mediante una colorización distintiva de las partes, estableciendo un marco novedoso y eficiente para la segmentación de partes. Específicamente, SegviGen codifica un activo 3D y predice colores indicativos de partes en los vóxeles activos de una reconstrucción alineada geométricamente. Soporta segmentación interactiva de partes, segmentación completa y segmentación completa con guía 2D en un marco unificado. Experimentos exhaustivos demuestran que SegviGen supera el estado del arte anterior en un 40% en segmentación interactiva de partes y en un 15% en segmentación completa, utilizando solo el 0.32% de los datos de entrenamiento etiquetados. Esto demuestra que los *priors* generativos 3D preentrenados se transfieren eficazmente a la segmentación de partes 3D, permitiendo un rendimiento sólido con supervisión limitada. Consulte nuestra página del proyecto en https://fenghora.github.io/SegviGen-Page/.
English
We introduce SegviGen, a framework that repurposes native 3D generative models for 3D part segmentation. Existing pipelines either lift strong 2D priors into 3D via distillation or multi-view mask aggregation, often suffering from cross-view inconsistency and blurred boundaries, or explore native 3D discriminative segmentation, which typically requires large-scale annotated 3D data and substantial training resources. In contrast, SegviGen leverages the structured priors encoded in pretrained 3D generative model to induce segmentation through distinctive part colorization, establishing a novel and efficient framework for part segmentation. Specifically, SegviGen encodes a 3D asset and predicts part-indicative colors on active voxels of a geometry-aligned reconstruction. It supports interactive part segmentation, full segmentation, and full segmentation with 2D guidance in a unified framework. Extensive experiments show that SegviGen improves over the prior state of the art by 40% on interactive part segmentation and by 15% on full segmentation, while using only 0.32% of the labeled training data. It demonstrates that pretrained 3D generative priors transfer effectively to 3D part segmentation, enabling strong performance with limited supervision. See our project page at https://fenghora.github.io/SegviGen-Page/.