SegviGen: Перепрофилирование 3D-генеративной модели для сегментации деталей

SegviGen: Repurposing 3D Generative Model for Part Segmentation

March 17, 2026

Авторы: Lin Li, Haoran Feng, Zehuan Huang, Haohua Chen, Wenbo Nie, Shaohua Hou, Keqing Fan, Pan Hu, Sheng Wang, Buyu Li, Lu Sheng

cs.AI

Аннотация

Мы представляем SegviGen — фреймворк, который перепрофилирует нативные 3D-генеративные модели для задач семантической сегментации частей 3D-объектов. Существующие подходы либо переносят сильные 2D-априорные знания в 3D через дистилляцию или агрегацию масок с нескольких ракурсов, что часто приводит к межракурсной несогласованности и размытым границам, либо исследуют нативную 3D-дискриминативную сегментацию, которая обычно требует крупномасштабных размеченных 3D-данных и значительных вычислительных ресурсов для обучения. В отличие от них, SegviGen использует структурные априорные знания, закодированные в предобученной 3D-генеративной модели, для индукции сегментации через различимую колоризацию частей, создавая новый и эффективный фреймворк для сегментации частей. Конкретно, SegviGen кодирует 3D-объект и предсказывает цвета, указывающие на части, на активных вокселях геометрически выровненной реконструкции. Он поддерживает интерактивную сегментацию частей, полную сегментацию и полную сегментацию с 2D-подсказками в единой системе. Многочисленные эксперименты показывают, что SegviGen превосходит предыдущие state-of-the-art методы на 40% в задаче интерактивной сегментации частей и на 15% в задаче полной сегментации, используя при этом всего 0,32% размеченных обучающих данных. Это демонстрирует, что априорные знания предобученных 3D-генеративных моделей эффективно переносятся на задачу 3D-сегментации частей, обеспечивая высокую производительность при ограниченном количестве размеченных данных. Смотрите нашу проектную страницу: https://fenghora.github.io/SegviGen-Page/.

English

We introduce SegviGen, a framework that repurposes native 3D generative models for 3D part segmentation. Existing pipelines either lift strong 2D priors into 3D via distillation or multi-view mask aggregation, often suffering from cross-view inconsistency and blurred boundaries, or explore native 3D discriminative segmentation, which typically requires large-scale annotated 3D data and substantial training resources. In contrast, SegviGen leverages the structured priors encoded in pretrained 3D generative model to induce segmentation through distinctive part colorization, establishing a novel and efficient framework for part segmentation. Specifically, SegviGen encodes a 3D asset and predicts part-indicative colors on active voxels of a geometry-aligned reconstruction. It supports interactive part segmentation, full segmentation, and full segmentation with 2D guidance in a unified framework. Extensive experiments show that SegviGen improves over the prior state of the art by 40% on interactive part segmentation and by 15% on full segmentation, while using only 0.32% of the labeled training data. It demonstrates that pretrained 3D generative priors transfer effectively to 3D part segmentation, enabling strong performance with limited supervision. See our project page at https://fenghora.github.io/SegviGen-Page/.