가변형 시각 표현

초록

DINOv2 및 MAE와 같은 사전 학습된 Vision Transformer(ViT)는 검색, 분류, 분할 등 다양한 하위 작업에 적용 가능한 일반적인 이미지 특징을 제공합니다. 그러나 이러한 표현은 이미지 내 가장 두드러진 시각적 단서에 집중하는 경향이 있어, 덜 부각된 관심 개념으로의 방향 전환이 어렵습니다. 반면, 멀티모달 LLM은 텍스트 프롬프트로 안내될 수 있지만, 그 결과물인 표현은 언어 중심적이 되어 일반적인 시각 작업에 대한 효과성이 떨어집니다. 이를 해결하기 위해 우리는 자연어로 전역 및 지역 특징을 조정할 수 있는 새로운 유형의 시각 표현인 조정 가능한 시각 표현(Steerable Visual Representations)을 소개합니다. 대부분의 시각-언어 모델(예: CLIP)이 인코딩 후 텍스트와 시각 특징을 융합(후기 융합)하는 반면, 우리는 경량화된 교차 주의를 통해 시각 인코더 계층에 텍스트를 직접 주입합니다(조기 융합). 우리는 표현의 조정 가능성을 측정하기 위한 벤치마크를 도입하고, 우리의 조정 가능한 시각 특징이 기본 표현 품질을 유지하면서 이미지 내 원하는 어떤 객체에도 집중할 수 있음을 보여줍니다. 우리의 방법은 이상 감지 및 개인화된 객체 식별 작업에서 전용 접근법을 능가하거나 동등한 성능을 보이며, 분포 외 작업에 대한 제로샷 일반화 능력을 입증합니다.

English

Pretrained Vision Transformers (ViTs) such as DINOv2 and MAE provide generic image features that can be applied to a variety of downstream tasks such as retrieval, classification, and segmentation. However, such representations tend to focus on the most salient visual cues in the image, with no way to direct them toward less prominent concepts of interest. In contrast, Multimodal LLMs can be guided with textual prompts, but the resulting representations tend to be language-centric and lose their effectiveness for generic visual tasks. To address this, we introduce Steerable Visual Representations, a new class of visual representations, whose global and local features can be steered with natural language. While most vision-language models (e.g., CLIP) fuse text with visual features after encoding (late fusion), we inject text directly into the layers of the visual encoder (early fusion) via lightweight cross-attention. We introduce benchmarks for measuring representational steerability, and demonstrate that our steerable visual features can focus on any desired objects in an image while preserving the underlying representation quality. Our method also matches or outperforms dedicated approaches on anomaly detection and personalized object discrimination, exhibiting zero-shot generalization to out-of-distribution tasks.