PixCon: 파운데이션 모델 반지도 분할을 위한 Clean-Positive 대조 학습

초록

준지도 의미 분할(SSSS)은 오랫동안 어떤 의사 레이블을 신뢰할 것인지라는 하나의 질문에 집중해 왔으며, 이에 대해 점점 더 세심한 신뢰도 필터링으로 답해 왔다. 기반 백본은 이러한 체제를 변화시킨다: DINOv2 교사를 사용하면 엄격한 임계값만으로도 측정된 98% 청정 의사 레이블 집합을 유지할 수 있으므로, 남은 정확도는 필터에 있는 것이 아니라 임베딩 공간이 클래스별로 어떻게 구조화되는지에 달려 있다. 우리는 PixCon, 즉 청정 양성 픽셀 대비 프레임워크를 제안한다. PixCon은 학생이 이미 올바르게 분류한 레이블이 있는 픽셀만 허용하는 클래스별 메모리 뱅크를 유지하여, 구성상 오염되지 않은 양성 집합(ρ_F=0)을 보장한다. 이는 신뢰도 필터링된 의사 레이블로 구축된 이전의 대비적 SSSS 뱅크(ReCo, U^2PL)와는 대조적이다. 이는 일관성 백본 위의 단일 분기로, 추론 시간 매개변수를 추가하지 않으며, 뱅크 특정 임계값이 필요하지 않다. 지도 InfoNCE 그래디언트의 1차 분석은 오염이 해로운 이유를 설명한다: 그 거짓 양성 항은 ρ_F/(1-ρ_F)로 확장되며, 우리는 이를 가정하지 않고 측정한다(파스칼에서 0.018, ADE20K에서 0.106). Pascal VOC, Cityscapes, ADE20K 전반에 걸쳐 PixCon은 계산량이 일치하는 단일 스위치 프로토콜에서 강력한 DINOv2 기반 UniMatch V2 기준과 일치하거나 이를 능가한다: 모든 Pascal-1/8 시드에서 개선되며(시드당 약 +0.2 mIoU 향상), 세 시드 평균이 87.90에 도달하는데, 이는 공개된 UniMatch V2-B 수치이다. 기반 모델 교사 아래에서는 오염이 이미 드물기 때문에, 우리의 분석은 ρ_F=0 보장이 주로 교사가 약화될 때 강건성으로 작용하는 반면, 정확도 향상은 더 깨끗한 양성 감독에서 비롯된다는 것을 시사하며, 이는 청정 양성 대비를 기반 모델 SSSS를 위한 강건하고 저비용의 기본값으로 만든다.

English

Semi-supervised semantic segmentation (SSSS) has long turned on one question, which pseudo-labels to trust, and answered it with ever more careful confidence filtering. Foundation backbones change the regime: with a DINOv2 teacher a strict threshold already retains a measured 98%-clean pseudo-label set, so the accuracy that remains lives not in the filter but in how the embedding space is structured by class. We propose PixCon, a clean-positive pixel-contrastive framework. PixCon maintains a per-class memory bank that admits only labeled pixels the student already classifies correctly, guaranteeing a contamination-free positive set (ρ_F=0) by construction, unlike prior contrastive SSSS banks (ReCo, U^2PL) built from confidence-filtered pseudo-labels. It is a single branch over a consistency backbone, adds no inference-time parameters, and needs no bank-specific threshold. A first-order analysis of the supervised-InfoNCE gradient explains why contamination hurts: its false-positive term scales as ρ_F/(1-ρ_F), which we measure (0.018 on Pascal, 0.106 on ADE20K) rather than assume. Across Pascal VOC, Cityscapes, and ADE20K, PixCon matches or improves a strong DINOv2-based UniMatch V2 baseline in a compute-matched one-switch protocol: it improves every Pascal-1/8 seed (a per-seed gain of about +0.2 mIoU) and its three-seed mean reaches 87.90, the published UniMatch V2-B figure. Because contamination is already rare under foundation-model teachers, our analysis indicates the ρ_F=0 guarantee acts chiefly as robustness as teachers weaken, while the accuracy gain comes from cleaner positive supervision, making clean-positive contrast a robust, low-cost default for foundation-model SSSS.