Stuurbaar Visuele Representaties

Samenvatting

Voorgetrainde Vision Transformers (ViT's) zoals DINOv2 en MAE bieden generieke beeldkenmerken die kunnen worden toegepast op diverse downstreamtaken zoals retrieval, classificatie en segmentatie. Dergelijke representaties hebben echter de neiging zich te richten op de meest opvallende visuele aanwijzingen in de afbeelding, zonder mogelijkheid om ze te sturen naar minder prominente concepten van interesse. Multimodale LLM's daarentegen kunnen met tekstuele prompts worden gestuurd, maar de resulterende representaties zijn vaak taalkundig centrisch en verliezen hun effectiviteit voor generieke visuele taken. Om dit aan te pakken, introduceren we Stuurbare Visuele Representaties, een nieuwe klasse van visuele representaties waarvan de globale en lokale kenmerken kunnen worden gestuurd met natuurlijke taal. Terwijl de meeste vision-languagemodellen (bijvoorbeeld CLIP) tekst samensmelten met visuele kenmerken na de codering (late fusie), injecteren wij tekst direct in de lagen van de visuele encoder (vroege fusie) via lichtgewicht cross-attention. We introduceren benchmarks voor het meten van representatie-stuurbaarheid en tonen aan dat onze stuurbare visuele kenmerken zich kunnen richten op elk gewenst object in een afbeelding, waarbij de onderliggende representatiekwaliteit behouden blijft. Onze methode evenaart of overtreft ook gespecialiseerde benaderingen op het gebied van anomaliedetectie en gepersonaliseerde objectdiscriminatie, en vertoont zero-shotgeneralizatie naar out-of-distributiontaken.

English

Pretrained Vision Transformers (ViTs) such as DINOv2 and MAE provide generic image features that can be applied to a variety of downstream tasks such as retrieval, classification, and segmentation. However, such representations tend to focus on the most salient visual cues in the image, with no way to direct them toward less prominent concepts of interest. In contrast, Multimodal LLMs can be guided with textual prompts, but the resulting representations tend to be language-centric and lose their effectiveness for generic visual tasks. To address this, we introduce Steerable Visual Representations, a new class of visual representations, whose global and local features can be steered with natural language. While most vision-language models (e.g., CLIP) fuse text with visual features after encoding (late fusion), we inject text directly into the layers of the visual encoder (early fusion) via lightweight cross-attention. We introduce benchmarks for measuring representational steerability, and demonstrate that our steerable visual features can focus on any desired objects in an image while preserving the underlying representation quality. Our method also matches or outperforms dedicated approaches on anomaly detection and personalized object discrimination, exhibiting zero-shot generalization to out-of-distribution tasks.