SegviGen: 3D 생성 모델의 부품 분할 재활용

초록

우리는 기존의 3D 생성 모델을 3D 부품 분할(part segmentation) 목적으로 재활용하는 SegviGen 프레임워크를 소개한다. 기존 파이프라인은 강력한 2D 사전 지식(prior)을 증류(distillation) 또는 다중 뷰 마스크 집계를 통해 3D로 전환하는 방식(시각 간 불일치와 흐린 경계 문제가 흔함)이나, 본질적인 3D 판별 분할 방식(대규모 주석 처리된 3D 데이터와 상당한 학습 자원 필요)을 탐구해왔다. 이와 대조적으로 SegviGen은 사전 학습된 3D 생성 모델에 인코딩된 구조화된 사전 지식을 활용하여 독특한 부품 채색(colorization)을 통해 분할을 유도함으로써, 새롭고 효율적인 부품 분할 프레임워크를 구축한다. 구체적으로 SegviGen은 3D 자산을 인코딩하고 기하학적으로 정렬된 재구성의 활성 복셀에 부품 지시 색상을 예측한다. 이는 통합 프레임워크 내에서 인터랙티브 부품 분할, 전체 분할, 그리고 2D guidance를 활용한 전체 분할을 지원한다. 폭넓은 실험 결과, SegviGen은 레이블된 학습 데이터의 0.32%만을 사용하면서 기존 최고 기술 대비 인터랙티브 부품 분할에서 40%, 전체 분할에서 15% 향상된 성능을 보여준다. 이는 사전 학습된 3D 생성 사전 지식이 3D 부품 분할 작업에 효과적으로 전이되어 제한된 감독 하에서도 강력한 성능을 가능하게 함을 입증한다. 자세한 내용은 프로젝트 페이지(https://fenghora.github.io/SegviGen-Page/)를 참조한다.

English

We introduce SegviGen, a framework that repurposes native 3D generative models for 3D part segmentation. Existing pipelines either lift strong 2D priors into 3D via distillation or multi-view mask aggregation, often suffering from cross-view inconsistency and blurred boundaries, or explore native 3D discriminative segmentation, which typically requires large-scale annotated 3D data and substantial training resources. In contrast, SegviGen leverages the structured priors encoded in pretrained 3D generative model to induce segmentation through distinctive part colorization, establishing a novel and efficient framework for part segmentation. Specifically, SegviGen encodes a 3D asset and predicts part-indicative colors on active voxels of a geometry-aligned reconstruction. It supports interactive part segmentation, full segmentation, and full segmentation with 2D guidance in a unified framework. Extensive experiments show that SegviGen improves over the prior state of the art by 40% on interactive part segmentation and by 15% on full segmentation, while using only 0.32% of the labeled training data. It demonstrates that pretrained 3D generative priors transfer effectively to 3D part segmentation, enabling strong performance with limited supervision. See our project page at https://fenghora.github.io/SegviGen-Page/.

SegviGen: 3D 생성 모델의 부품 분할 재활용

SegviGen: Repurposing 3D Generative Model for Part Segmentation

초록

Support