gen2seg: 生成モデルによる汎用的なインスタンスセグメンテーションの実現

gen2seg: Generative Models Enable Generalizable Instance Segmentation

May 21, 2025

著者: Om Khangaonkar, Hamed Pirsiavash

cs.AI

要旨

摂動入力を基に一貫性のある画像を合成するために事前学習を行うことで、生成モデルは物体の境界やシーンの構成を本質的に理解する能力を獲得します。この生成表現を汎用的な知覚的組織化にどのように再利用できるでしょうか？私たちは、Stable DiffusionとMAE（エンコーダ＋デコーダ）を、特定のオブジェクトタイプ（室内家具と車）に限定してインスタンスカラーリング損失を用いてカテゴリに依存しないインスタンスセグメンテーションにファインチューニングしました。驚くべきことに、私たちのモデルは強力なゼロショット汎化能力を示し、ファインチューニング（および多くの場合、MAEのImageNet-1K事前学習）で見られなかったタイプやスタイルのオブジェクトを正確にセグメント化しました。最良のパフォーマンスを発揮するモデルは、未見のオブジェクトタイプやスタイルの評価において、強力な教師あり学習を施したSAMに非常に近い結果を示し、微細な構造や曖昧な境界のセグメンテーションにおいてはそれを上回りました。これに対して、既存のプロンプト可能なセグメンテーションアーキテクチャや識別的に事前学習されたモデルは汎化に失敗しました。これは、生成モデルがカテゴリやドメインを超えて転移可能な本質的なグループ化メカニズムを学習することを示唆しています。コード、事前学習済みモデル、デモは私たちのウェブサイトで公開されています。

English

By pretraining to synthesize coherent images from perturbed inputs, generative models inherently learn to understand object boundaries and scene compositions. How can we repurpose these generative representations for general-purpose perceptual organization? We finetune Stable Diffusion and MAE (encoder+decoder) for category-agnostic instance segmentation using our instance coloring loss exclusively on a narrow set of object types (indoor furnishings and cars). Surprisingly, our models exhibit strong zero-shot generalization, accurately segmenting objects of types and styles unseen in finetuning (and in many cases, MAE's ImageNet-1K pretraining too). Our best-performing models closely approach the heavily supervised SAM when evaluated on unseen object types and styles, and outperform it when segmenting fine structures and ambiguous boundaries. In contrast, existing promptable segmentation architectures or discriminatively pretrained models fail to generalize. This suggests that generative models learn an inherent grouping mechanism that transfers across categories and domains, even without internet-scale pretraining. Code, pretrained models, and demos are available on our website.