PixCon: 基盤モデルの半教師ありセグメンテーションのためのクリーンポジティブ対比学習

要旨

半教師ありセマンティックセグメンテーション（SSSS）は長年にわたり、いかなる擬似ラベルを信頼するかという一つの問いに直面し、より慎重な信頼度フィルタリングによってそれに答えてきた。ファンデーションバックボーンはこの状況を一変させる。DINOv2教師を用いれば、厳格な閾値でも測定上98%のクリーンな擬似ラベルセットが保持されるため、精度を左右するのはフィルタではなく、クラスごとに埋め込み空間がどのように構造化されるかにかかっている。本稿では、クリーンポジティブなピクセルコントラスト学習フレームワークPixConを提案する。PixConはクラスごとのメモリバンクを維持し、生徒がすでに正しく分類できているラベル付きピクセルのみを許容する。これにより、従来のコントラスト学習を用いたSSSSのバンク（ReCo、U²PL）が信頼度フィルタリング済みの擬似ラベルから構築されていたのに対し、PixConでは構造上、無汚染のポジティブセット（ρ_F=0）を保証する。この手法はコンシステンシーバックボーン上の単一ブランチであり、推論時のパラメータを追加せず、バンク固有の閾値も必要としない。教師ありInfoNCE勾配の一次解析により、なぜ汚染が有害であるかが説明できる。その偽陽性項はρ_F/(1-ρ_F)の割合でスケールし、これを我々は仮定するのではなく実測している（Pascalでは0.018、ADE20Kでは0.106）。Pascal VOC、Cityscapes、ADE20Kにおいて、PixConは強力なDINOv2ベースのUniMatch V2ベースラインと計算量を一致させたワンスイッチプロトコルで同等かそれ以上の性能を示す。すべてのPascal 1/8シードで改善が見られ（シードあたり約+0.2 mIoU）、3シード平均は87.90に達し、公表されているUniMatch V2-Bの数値と同じである。ファンデーションモデル教師のもとでは汚染がすでにまれであるため、我々の分析は、ρ_F=0の保証は主に教師が弱体化した場合のロバスト性として機能し、精度向上はよりクリーンなポジティブ監督からもたらされることを示している。これにより、クリーンポジティブコントラスト学習は、ファンデーションモデルを用いたSSSSにおいてロバストで低コストなデフォルト手法となる。

English

Semi-supervised semantic segmentation (SSSS) has long turned on one question, which pseudo-labels to trust, and answered it with ever more careful confidence filtering. Foundation backbones change the regime: with a DINOv2 teacher a strict threshold already retains a measured 98%-clean pseudo-label set, so the accuracy that remains lives not in the filter but in how the embedding space is structured by class. We propose PixCon, a clean-positive pixel-contrastive framework. PixCon maintains a per-class memory bank that admits only labeled pixels the student already classifies correctly, guaranteeing a contamination-free positive set (ρ_F=0) by construction, unlike prior contrastive SSSS banks (ReCo, U^2PL) built from confidence-filtered pseudo-labels. It is a single branch over a consistency backbone, adds no inference-time parameters, and needs no bank-specific threshold. A first-order analysis of the supervised-InfoNCE gradient explains why contamination hurts: its false-positive term scales as ρ_F/(1-ρ_F), which we measure (0.018 on Pascal, 0.106 on ADE20K) rather than assume. Across Pascal VOC, Cityscapes, and ADE20K, PixCon matches or improves a strong DINOv2-based UniMatch V2 baseline in a compute-matched one-switch protocol: it improves every Pascal-1/8 seed (a per-seed gain of about +0.2 mIoU) and its three-seed mean reaches 87.90, the published UniMatch V2-B figure. Because contamination is already rare under foundation-model teachers, our analysis indicates the ρ_F=0 guarantee acts chiefly as robustness as teachers weaken, while the accuracy gain comes from cleaner positive supervision, making clean-positive contrast a robust, low-cost default for foundation-model SSSS.