SegviGen: Wiederverwendung von 3D-Generativmodellen für Teilesegmentierung
SegviGen: Repurposing 3D Generative Model for Part Segmentation
March 17, 2026
Autoren: Lin Li, Haoran Feng, Zehuan Huang, Haohua Chen, Wenbo Nie, Shaohua Hou, Keqing Fan, Pan Hu, Sheng Wang, Buyu Li, Lu Sheng
cs.AI
Zusammenfassung
Wir stellen SegviGen vor, einen Framework, der native 3D-Generativmodelle für die 3D-Teilesegmentierung umfunktioniert. Bestehende Pipelines heben entweder starke 2D-Priors via Distillation oder Multi-View-Maskenaggregation in 3D, leiden dabei jedoch häufig unter Blickübergreifungsinkonsistenzen und unscharfen Grenzen, oder sie erforschen native 3D-diskriminative Segmentierung, die typischerweise groß angelegte annotierte 3D-Daten und erhebliche Trainingsressourcen erfordert. Im Gegensatz dazu nutzt SegviGen die strukturierten Priors, die in vortrainierten 3D-Generativmodellen kodiert sind, um durch distinctive Teilfärbung eine Segmentierung zu induzieren, und etabliert so einen neuartigen und effizienten Framework für die Teilesegmentierung. Konkret kodiert SegviGen ein 3D-Asset und sagt teilindikative Farben auf aktiven Voxeln einer geometrieausgerichteten Rekonstruktion vorher. Es unterstützt interaktive Teilesegmentierung, Vollsegmentierung und Vollsegmentierung mit 2D-Führung in einem einheitlichen Framework. Umfangreiche Experimente zeigen, dass SegviGen den bisherigen State-of-the-Art bei interaktiver Teilesegmentierung um 40 % und bei Vollsegmentierung um 15 % übertrifft, während nur 0,32 % der annotierten Trainingsdaten verwendet werden. Es demonstriert, dass vortrainierte 3D-Generativpriors effektiv auf die 3D-Teilesegmentierung übertragbar sind und eine hohe Leistung mit begrenzter Supervision ermöglichen. Weitere Informationen unter https://fenghora.github.io/SegviGen-Page/.
English
We introduce SegviGen, a framework that repurposes native 3D generative models for 3D part segmentation. Existing pipelines either lift strong 2D priors into 3D via distillation or multi-view mask aggregation, often suffering from cross-view inconsistency and blurred boundaries, or explore native 3D discriminative segmentation, which typically requires large-scale annotated 3D data and substantial training resources. In contrast, SegviGen leverages the structured priors encoded in pretrained 3D generative model to induce segmentation through distinctive part colorization, establishing a novel and efficient framework for part segmentation. Specifically, SegviGen encodes a 3D asset and predicts part-indicative colors on active voxels of a geometry-aligned reconstruction. It supports interactive part segmentation, full segmentation, and full segmentation with 2D guidance in a unified framework. Extensive experiments show that SegviGen improves over the prior state of the art by 40% on interactive part segmentation and by 15% on full segmentation, while using only 0.32% of the labeled training data. It demonstrates that pretrained 3D generative priors transfer effectively to 3D part segmentation, enabling strong performance with limited supervision. See our project page at https://fenghora.github.io/SegviGen-Page/.