SegviGen: Riadattamento di un Modello Generativo 3D per la Segmentazione di Parti

Abstract

Introduciamo SegviGen, un framework che riconverte modelli generativi 3D nativi per la segmentazione di parti 3D. Le pipeline esistenti sollevano forti prior 2D in 3D tramite distillazione o aggregazione di maschere multi-vista, spesso soffrendo di incoerenza tra le viste e contorni sfocati, oppure esplorano la segmentazione discriminativa 3D nativa, che tipicamente richiede dati 3D annotati su larga scala e risorse di addestramento consistenti. Al contrario, SegviGen sfrutta i prior strutturati codificati in modelli generativi 3D preaddestrati per indurre la segmentazione attraverso una colorazione distintiva delle parti, stabilendo un framework nuovo ed efficiente per la segmentazione di parti. Nello specifico, SegviGen codifica un asset 3D e predice colori indicativi delle parti sui voxel attivi di una ricostruzione allineata geometricamente. Supporta la segmentazione interattiva delle parti, la segmentazione completa e la segmentazione completa con guida 2D in un framework unificato. Esperimenti estensivi mostrano che SegviGen migliora lo stato dell'arte precedente del 40% nella segmentazione interattiva delle parti e del 15% nella segmentazione completa, utilizzando solo lo 0.32% dei dati di addestramento etichettati. Dimostra che i prior generativi 3D preaddestrati si trasferiscono efficacemente alla segmentazione di parti 3D, abilitando prestazioni robusthe con supervisione limitata. Visita la nostra pagina progetto all'indirizzo https://fenghora.github.io/SegviGen-Page/.

English

We introduce SegviGen, a framework that repurposes native 3D generative models for 3D part segmentation. Existing pipelines either lift strong 2D priors into 3D via distillation or multi-view mask aggregation, often suffering from cross-view inconsistency and blurred boundaries, or explore native 3D discriminative segmentation, which typically requires large-scale annotated 3D data and substantial training resources. In contrast, SegviGen leverages the structured priors encoded in pretrained 3D generative model to induce segmentation through distinctive part colorization, establishing a novel and efficient framework for part segmentation. Specifically, SegviGen encodes a 3D asset and predicts part-indicative colors on active voxels of a geometry-aligned reconstruction. It supports interactive part segmentation, full segmentation, and full segmentation with 2D guidance in a unified framework. Extensive experiments show that SegviGen improves over the prior state of the art by 40% on interactive part segmentation and by 15% on full segmentation, while using only 0.32% of the labeled training data. It demonstrates that pretrained 3D generative priors transfer effectively to 3D part segmentation, enabling strong performance with limited supervision. See our project page at https://fenghora.github.io/SegviGen-Page/.