INSID3: DINOv3 기반 학습 없이 즉시 적용 가능한 인-컨텍스트 세분화

초록

문맥 내 분할(ICS)은 주석이 달린 시각적 예시가 주어졌을 때 객체, 부분 또는 개인화된 인스턴스와 같은 임의의 개념을 분할하는 것을 목표로 합니다. 기존 연구는 (i) 도메인 내 결과는 개선하지만 일반화를 해치는 시각 기초 모델(VFM) 미세 조정에 의존하거나, (ii) 일반화는 보존하지만 구조적 복잡성과 고정된 분할 세분성을 초래하는 여러 고정된 VFM을 결합하는 방식에 의존해 왔습니다. 우리는 ICS를 극소주의 관점에서 재조명하며 다음과 같은 질문을 던집니다: 감독이나 보조 모델 없이도 단일 자기 지도 백본이 의미론적 매칭과 분할을 모두 지원할 수 있을까? 우리는 DINOv3의 대규모 밀집 자기 지도 특성이 강력한 공간 구조와 의미론적 대응 관계를 나타냄을 보여줍니다. 우리는 문맥 내 예시가 주어졌을 때 고정된 DINOv3 특성만으로 다양한 세분성의 개념을 분할하는 학습 없는 접근법인 INSID3를 소개합니다. INSID3는 원샷 의미 분할, 부분 분할, 개인화 분할 전반에서 마스크 또는 범주 수준 감독 없이 이전 연구보다 7.5% 높은 mIoU를 달성하며, 3배 적은 매개변수를 사용하여 최첨단 결과를 얻습니다. 코드는 https://github.com/visinf/INSID3에서 확인할 수 있습니다.

English

In-context segmentation (ICS) aims to segment arbitrary concepts, e.g., objects, parts, or personalized instances, given one annotated visual examples. Existing work relies on (i) fine-tuning vision foundation models (VFMs), which improves in-domain results but harms generalization, or (ii) combines multiple frozen VFMs, which preserves generalization but yields architectural complexity and fixed segmentation granularities. We revisit ICS from a minimalist perspective and ask: Can a single self-supervised backbone support both semantic matching and segmentation, without any supervision or auxiliary models? We show that scaled-up dense self-supervised features from DINOv3 exhibit strong spatial structure and semantic correspondence. We introduce INSID3, a training-free approach that segments concepts at varying granularities only from frozen DINOv3 features, given an in-context example. INSID3 achieves state-of-the-art results across one-shot semantic, part, and personalized segmentation, outperforming previous work by +7.5 % mIoU, while using 3x fewer parameters and without any mask or category-level supervision. Code is available at https://github.com/visinf/INSID3 .

INSID3: DINOv3 기반 학습 없이 즉시 적용 가능한 인-컨텍스트 세분화

INSID3: Training-Free In-Context Segmentation with DINOv3

초록

Support