SegviGen: Reaproveitando Modelos Generativos 3D para Segmentação de Partes
SegviGen: Repurposing 3D Generative Model for Part Segmentation
March 17, 2026
Autores: Lin Li, Haoran Feng, Zehuan Huang, Haohua Chen, Wenbo Nie, Shaohua Hou, Keqing Fan, Pan Hu, Sheng Wang, Buyu Li, Lu Sheng
cs.AI
Resumo
Apresentamos o SegviGen, uma estrutura que reaproveita modelos generativos 3D nativos para segmentação de partes 3D. Os *pipelines* existentes ou elevam *priors* 2D robustos para 3D através de destilação ou agregação de máscaras multi-visão, frequentemente sofrendo com inconsistência entre vistas e limites desfocados, ou exploram a segmentação discriminativa 3D nativa, que tipicamente requer dados 3D anotados em grande escala e recursos de treinamento substanciais. Em contraste, o SegviGen aproveita os *priors* estruturados codificados em modelos generativos 3D pré-treinados para induzir a segmentação através de colorização distintiva de partes, estabelecendo uma estrutura nova e eficiente para segmentação de partes. Especificamente, o SegviGen codifica um ativo 3D e prevê cores indicativas de partes nos *voxels* ativos de uma reconstrução alinhada geometricamente. Ele suporta segmentação interativa de partes, segmentação completa e segmentação completa com orientação 2D em uma estrutura unificada. Experimentos extensivos mostram que o SegviGen supera o estado da arte anterior em 40% na segmentação interativa de partes e em 15% na segmentação completa, enquanto utiliza apenas 0,32% dos dados de treinamento rotulados. Isso demonstra que *priors* generativos 3D pré-treinados transferem-se efetivamente para a segmentação de partes 3D, permitindo um desempenho robusto com supervisão limitada. Consulte nossa página do projeto em https://fenghora.github.io/SegviGen-Page/.
English
We introduce SegviGen, a framework that repurposes native 3D generative models for 3D part segmentation. Existing pipelines either lift strong 2D priors into 3D via distillation or multi-view mask aggregation, often suffering from cross-view inconsistency and blurred boundaries, or explore native 3D discriminative segmentation, which typically requires large-scale annotated 3D data and substantial training resources. In contrast, SegviGen leverages the structured priors encoded in pretrained 3D generative model to induce segmentation through distinctive part colorization, establishing a novel and efficient framework for part segmentation. Specifically, SegviGen encodes a 3D asset and predicts part-indicative colors on active voxels of a geometry-aligned reconstruction. It supports interactive part segmentation, full segmentation, and full segmentation with 2D guidance in a unified framework. Extensive experiments show that SegviGen improves over the prior state of the art by 40% on interactive part segmentation and by 15% on full segmentation, while using only 0.32% of the labeled training data. It demonstrates that pretrained 3D generative priors transfer effectively to 3D part segmentation, enabling strong performance with limited supervision. See our project page at https://fenghora.github.io/SegviGen-Page/.