PixCon: Sauber-positives kontrastives Lernen für die halbüberwachte Segmentierung mit Foundation-Modellen

Zusammenfassung

Halüberwachte semantische Segmentierung (SSSS) hat sich lange auf eine Frage konzentriert – welchen Pseudo-Labels man vertrauen kann – und diese mit immer sorgfältigerer Konfidenzfilterung beantwortet. Foundation-Backbones verändern das Paradigma: Mit einem DINOv2-Teacher erhält eine strenge Schwelle bereits eine gemessene, zu 98% saubere Pseudo-Label-Menge; die verbleibende Genauigkeit liegt also nicht im Filter, sondern darin, wie der Einbettungsraum durch Klassen strukturiert wird. Wir schlagen PixCon vor, ein sauber-positives pixelkontrastives Framework. PixCon unterhält eine klassenspezifische Speicherbank, die nur solche gelabelten Pixel aufnimmt, die der Student bereits korrekt klassifiziert, und garantiert so per Konstruktion eine kontaminationsfreie Positive-Menge (ρ_F=0) – im Gegensatz zu früheren kontrastiven SSSS-Banken (ReCo, U²PL), die aus konfidenzgefilterten Pseudo-Labels aufgebaut sind. Es handelt sich um einen einzelnen Zweig über ein Konsistenz-Backbone, der keine Inferenzparameter hinzufügt und keinen bankspezifischen Schwellenwert benötigt. Eine Analyse erster Ordnung des Supervised-InfoNCE-Gradienten erklärt, warum Kontamination schadet: Sein Falsch-Positiv-Term skaliert mit ρ_F/(1-ρ_F), den wir messen (0,018 auf Pascal, 0,106 auf ADE20K) statt vorauszusetzen. Über Pascal VOC, Cityscapes und ADE20K hinweg erreicht oder verbessert PixCon eine starke DINOv2-basierte UniMatch V2-Baseline in einem rechenaufwandsgleichen Ein-Schalter-Protokoll: Es verbessert jeden Pascal-1/8-Samen (ein Gewinn von etwa +0,2 mIoU pro Samen) und sein Drei-Samen-Mittelwert erreicht 87,90 – die veröffentlichte UniMatch V2-B-Zahl. Da Kontamination unter Foundation-Modell-Teachern bereits selten ist, deutet unsere Analyse darauf hin, dass die ρ_F=0-Garantie vor allem als Robustheit fungiert, wenn Teacher schwächer werden, während der Genauigkeitsgewinn aus sauberer positiver Supervision stammt. Damit macht sauber-positive Kontrastierung eine robuste, kostengünstige Standardwahl für Foundation-Modell-SSSS.

English

Semi-supervised semantic segmentation (SSSS) has long turned on one question, which pseudo-labels to trust, and answered it with ever more careful confidence filtering. Foundation backbones change the regime: with a DINOv2 teacher a strict threshold already retains a measured 98%-clean pseudo-label set, so the accuracy that remains lives not in the filter but in how the embedding space is structured by class. We propose PixCon, a clean-positive pixel-contrastive framework. PixCon maintains a per-class memory bank that admits only labeled pixels the student already classifies correctly, guaranteeing a contamination-free positive set (ρ_F=0) by construction, unlike prior contrastive SSSS banks (ReCo, U^2PL) built from confidence-filtered pseudo-labels. It is a single branch over a consistency backbone, adds no inference-time parameters, and needs no bank-specific threshold. A first-order analysis of the supervised-InfoNCE gradient explains why contamination hurts: its false-positive term scales as ρ_F/(1-ρ_F), which we measure (0.018 on Pascal, 0.106 on ADE20K) rather than assume. Across Pascal VOC, Cityscapes, and ADE20K, PixCon matches or improves a strong DINOv2-based UniMatch V2 baseline in a compute-matched one-switch protocol: it improves every Pascal-1/8 seed (a per-seed gain of about +0.2 mIoU) and its three-seed mean reaches 87.90, the published UniMatch V2-B figure. Because contamination is already rare under foundation-model teachers, our analysis indicates the ρ_F=0 guarantee acts chiefly as robustness as teachers weaken, while the accuracy gain comes from cleaner positive supervision, making clean-positive contrast a robust, low-cost default for foundation-model SSSS.