SegviGen：3D生成モデルを部品セグメンテーションに転用する
SegviGen: Repurposing 3D Generative Model for Part Segmentation
March 17, 2026
著者: Lin Li, Haoran Feng, Zehuan Huang, Haohua Chen, Wenbo Nie, Shaohua Hou, Keqing Fan, Pan Hu, Sheng Wang, Buyu Li, Lu Sheng
cs.AI
要旨
本論文では、事前学習済みの3D生成モデルを3Dパーツセグメンテーションに転用するフレームワーク「SegviGen」を提案する。既存のパイプラインは、強力な2D事前知識を蒸留やマルチビューマスク集約によって3Dに変換する手法が主流であるが、ビュー間の不一致や境界のぼやけが生じやすい。あるいは、大規模な注釈付き3Dデータと多大な学習リソースを必要とする、3D識別モデルに基づくセグメンテーションが探求されている。これに対しSegviGenは、事前学習済み3D生成モデルに符号化された構造化された事前知識を活用し、識別可能なパーツ色分けを通じてセグメンテーションを誘導する、新規かつ効率的なフレームワークを確立する。具体的には、3Dアセットを符号化し、形状に整合した再構成のアクティブボクセル上でパーツ指示色を予測する。インタラクティブなパーツセグメンテーション、完全セグメンテーション、および2Dガイダンス付き完全セグメンテーションを統一フレームワークでサポートする。大規模な実験により、SegviGenはインタラクティブパーツセグメンテーションで従来手法より40%、完全セグメンテーションで15%性能を向上させ、ラベル付き学習データ量はわずか0.32%で済むことを示した。これは、事前学習済み3D生成事前知識が3Dパーツセグメンテーションに効果的に転移し、限られた監督情報でも高い性能を実現可能であることを立証する。プロジェクトページはhttps://fenghora.github.io/SegviGen-Page/を参照。
English
We introduce SegviGen, a framework that repurposes native 3D generative models for 3D part segmentation. Existing pipelines either lift strong 2D priors into 3D via distillation or multi-view mask aggregation, often suffering from cross-view inconsistency and blurred boundaries, or explore native 3D discriminative segmentation, which typically requires large-scale annotated 3D data and substantial training resources. In contrast, SegviGen leverages the structured priors encoded in pretrained 3D generative model to induce segmentation through distinctive part colorization, establishing a novel and efficient framework for part segmentation. Specifically, SegviGen encodes a 3D asset and predicts part-indicative colors on active voxels of a geometry-aligned reconstruction. It supports interactive part segmentation, full segmentation, and full segmentation with 2D guidance in a unified framework. Extensive experiments show that SegviGen improves over the prior state of the art by 40% on interactive part segmentation and by 15% on full segmentation, while using only 0.32% of the labeled training data. It demonstrates that pretrained 3D generative priors transfer effectively to 3D part segmentation, enabling strong performance with limited supervision. See our project page at https://fenghora.github.io/SegviGen-Page/.