SegviGen : Réaffectation d'un modèle génératif 3D pour la segmentation de parties
SegviGen: Repurposing 3D Generative Model for Part Segmentation
March 17, 2026
Auteurs: Lin Li, Haoran Feng, Zehuan Huang, Haohua Chen, Wenbo Nie, Shaohua Hou, Keqing Fan, Pan Hu, Sheng Wang, Buyu Li, Lu Sheng
cs.AI
Résumé
Nous présentons SegviGen, un cadre qui réaffecte des modèles génératifs 3D natifs à la segmentation de parties 3D. Les pipelines existants élèvent soit des connaissances préalables 2D robustes en 3D via la distillation ou l'agrégation de masques multi-vues, souffrant souvent d'incohérences inter-vues et de limites floues, soit explorent la segmentation discriminative 3D native, qui nécessite généralement des données 3D annotées à grande échelle et des ressources d'entraînement substantielles. En revanche, SegviGen exploite les connaissances préalables structurées encodées dans un modèle génératif 3D pré-entraîné pour induire la segmentation via une colorisation distinctive des parties, établissant un cadre novateur et efficace pour la segmentation de parties. Plus précisément, SegviGen encode un actif 3D et prédit des couleurs indicatives des parties sur les voxels actifs d'une reconstruction alignée géométriquement. Il prend en charge la segmentation interactive de parties, la segmentation complète et la segmentation complète avec guidage 2D dans un cadre unifié. Des expériences approfondies montrent que SegviGen améliore l'état de l'art précédent de 40 % sur la segmentation interactive de parties et de 15 % sur la segmentation complète, tout en n'utilisant que 0,32 % des données d'entraînement étiquetées. Cela démontre que les connaissances préalables génératives 3D pré-entraînées se transfèrent efficacement à la segmentation de parties 3D, permettant des performances robustes avec une supervision limitée. Consultez notre page de projet à l'adresse https://fenghora.github.io/SegviGen-Page/.
English
We introduce SegviGen, a framework that repurposes native 3D generative models for 3D part segmentation. Existing pipelines either lift strong 2D priors into 3D via distillation or multi-view mask aggregation, often suffering from cross-view inconsistency and blurred boundaries, or explore native 3D discriminative segmentation, which typically requires large-scale annotated 3D data and substantial training resources. In contrast, SegviGen leverages the structured priors encoded in pretrained 3D generative model to induce segmentation through distinctive part colorization, establishing a novel and efficient framework for part segmentation. Specifically, SegviGen encodes a 3D asset and predicts part-indicative colors on active voxels of a geometry-aligned reconstruction. It supports interactive part segmentation, full segmentation, and full segmentation with 2D guidance in a unified framework. Extensive experiments show that SegviGen improves over the prior state of the art by 40% on interactive part segmentation and by 15% on full segmentation, while using only 0.32% of the labeled training data. It demonstrates that pretrained 3D generative priors transfer effectively to 3D part segmentation, enabling strong performance with limited supervision. See our project page at https://fenghora.github.io/SegviGen-Page/.