REBASE: 훈련 없는 맥락 내 분할을 위한 참조-배경 부분공간 제거

초록

훈련 없는 인컨텍스트 분할은 단일 주석 참조 이미지로부터 추론 시점에 새로운 객체 범주를 도입할 수 있게 하여, 클래스 점진 학습의 재훈련 및 메모리 오버헤드를 제거합니다. 최근 접근법은 의미론적 대응을 위한 비전 기반 모델과 SAM과 같은 프롬프트 가능 분할 네트워크를 결합하여 이를 달성합니다. 그러나 그 성능은 교차 이미지 유사도 맵의 품질에 근본적으로 제한됩니다. 참조 이미지와 질의 이미지 간의 공유된 맥락적 배경이 비대상 영역에서 유사도를 체계적으로 상승시켜 프롬프트 위치 지정을 저하시킵니다. 본 논문에서는 이러한 허위 맥락적 대응을 명시적으로 억제하는 훈련 없는 프레임워크인 REBASE를 제시합니다. 우리 방법은 참조 이미지로부터 저차원 배경 특징 부분공간을 식별하고, 참조 및 질의 특징을 닫힌 형태로 그 직교 보수에 투영하여 더 깨끗한 의미론적 매칭을 얻습니다. 그런 다음 유사도 가중 최대점 샘플링을 사용하여 긍정 점 프롬프트를 생성하고, 정제된 밀집 유사도 사전을 함께 사용합니다. 어떠한 훈련이나 매개변수 업데이트 없이도, 우리 접근법은 PACO-Part, FSS-1000, 그리고 ISIC2018과 같은 교차 도메인 데이터셋에서 훈련 없는 방법들 중 새로운 최첨단 성능을 달성하여, 명시적 배경 부분공간 제거가 원샷 위치 지정에 매우 효과적인 원리임을 입증합니다.

English

Training-free in-context segmentation enables new object categories to be introduced at inference time from a single annotated reference image, eliminating the retraining and memory overhead of class-incremental learning. Recent approaches achieve this by combining vision foundation models for semantic correspondence with promptable segmentation networks like SAM. However, their performance is fundamentally limited by the quality of the cross-image similarity map; shared contextual backgrounds between the reference and query systematically elevate similarity in non-target regions, degrading prompt localization. We present REBASE, a training-free framework that explicitly suppresses these spurious contextual correspondences. Our method identifies the low-rank background feature subspace from the reference image and project the reference and query features onto its orthogonal complement in closed form, yielding cleaner semantic matching. We then generate positive point prompts using similarity-weighted farthest-point sampling, paired with a refined dense similarity prior. Without any training or parameter updates, our approach establishes a new state of the art among training-free methods on PACO-Part, FSS-1000, and cross-domain datasets such as ISIC2018, demonstrating that explicit background subspace removal is a highly effective principle for one-shot localization.