SegviGen: Hergebruik van 3D-generatief model voor onderdeelsegmentatie
SegviGen: Repurposing 3D Generative Model for Part Segmentation
March 17, 2026
Auteurs: Lin Li, Haoran Feng, Zehuan Huang, Haohua Chen, Wenbo Nie, Shaohua Hou, Keqing Fan, Pan Hu, Sheng Wang, Buyu Li, Lu Sheng
cs.AI
Samenvatting
Wij introduceren SegviGen, een raamwerk dat inheemse 3D-generatieve modellen hergebruikt voor 3D-delsegmentatie. Bestaande pijplijnen tillen sterke 2D-priors via distillatie of multi-view maskeraggregatie naar 3D, wat vaak leidt tot inconsistentie tussen views en vervaagde grenzen, of verkennen inheemse 3D-discriminatieve segmentatie, wat typisch grootschalige geannoteerde 3D-data en aanzienlijke trainingsresources vereist. In tegenstelling hiermee benut SegviGen de gestructureerde priors die gecodeerd zijn in voorgetrainde 3D-generatieve modellen om segmentatie te induceren door middel van onderscheidende deelinkleuring, waarmee een nieuw en efficiënt raamwerk voor delensegmentatie wordt gevestigd. Concreet codeert SegviGen een 3D-asset en voorspelt het deelindicatieve kleuren op actieve voxels van een geometrisch-uitgelijnde reconstructie. Het ondersteunt interactieve delensegmentatie, volledige segmentatie en volledige segmentatie met 2D-begeleiding in een uniform raamwerk. Uitgebreide experimenten tonen aan dat SegviGen de vorige state-of-the-art met 40% verbetert bij interactieve delensegmentatie en met 15% bij volledige segmentatie, terwijl het slechts 0,32% van de gelabelde trainingsdata gebruikt. Het demonstreert dat voorgetrainde 3D-generatieve priors effectief overdraagbaar zijn naar 3D-delsegmentatie, waardoor sterke prestaties met beperkte supervisie mogelijk worden. Zie onze projectpagina op https://fenghora.github.io/SegviGen-Page/.
English
We introduce SegviGen, a framework that repurposes native 3D generative models for 3D part segmentation. Existing pipelines either lift strong 2D priors into 3D via distillation or multi-view mask aggregation, often suffering from cross-view inconsistency and blurred boundaries, or explore native 3D discriminative segmentation, which typically requires large-scale annotated 3D data and substantial training resources. In contrast, SegviGen leverages the structured priors encoded in pretrained 3D generative model to induce segmentation through distinctive part colorization, establishing a novel and efficient framework for part segmentation. Specifically, SegviGen encodes a 3D asset and predicts part-indicative colors on active voxels of a geometry-aligned reconstruction. It supports interactive part segmentation, full segmentation, and full segmentation with 2D guidance in a unified framework. Extensive experiments show that SegviGen improves over the prior state of the art by 40% on interactive part segmentation and by 15% on full segmentation, while using only 0.32% of the labeled training data. It demonstrates that pretrained 3D generative priors transfer effectively to 3D part segmentation, enabling strong performance with limited supervision. See our project page at https://fenghora.github.io/SegviGen-Page/.