Lenkbare visuelle Repräsentationen

Zusammenfassung

Vortrainierte Vision Transformer (ViTs) wie DINOv2 und MAE liefern generische Bildmerkmale, die für verschiedene Downstream-Aufgaben wie Retrieval, Klassifikation und Segmentierung eingesetzt werden können. Solche Repräsentationen konzentrieren sich jedoch tendenziell auf die salientesten visuellen Hinweise im Bild, ohne Möglichkeit, sie auf weniger prominente Konzepte von Interesse auszurichten. Im Gegensatz dazu können multimodale LLMs mit textuellen Prompts gesteuert werden, aber die resultierenden Repräsentationen sind oft sprachzentriert und verlieren ihre Wirksamkeit für generische visuelle Aufgaben. Um dies zu adressieren, führen wir Steerable Visual Representations ein, eine neue Klasse visueller Repräsentationen, deren globale und lokale Merkmale mit natürlicher Sprache gesteuert werden können. Während die meisten Vision-Language-Modelle (z.B. CLIP) Text mit visuellen Merkmalen nach der Encodierung fusionieren (Late Fusion), injizieren wir Text direkt über leichten Cross-Attention-Mechanismus in die Schichten des visuellen Encoders (Early Fusion). Wir führen Benchmarks zur Messung der Steuerbarkeit von Repräsentationen ein und zeigen, dass unsere steuerbaren visuellen Merkmale sich auf beliebige gewünschte Objekte in einem Bild konzentrieren können, während die Qualität der zugrundeliegenden Repräsentation erhalten bleibt. Unsere Methode erreicht zudem vergleichbare oder bessere Ergebnisse als spezialisierte Ansätze bei Anomalieerkennung und personalisierter Objektdiskrimination und zeigt Zero-Shot-Generalisierung auf Out-of-Distribution-Aufgaben.

English

Pretrained Vision Transformers (ViTs) such as DINOv2 and MAE provide generic image features that can be applied to a variety of downstream tasks such as retrieval, classification, and segmentation. However, such representations tend to focus on the most salient visual cues in the image, with no way to direct them toward less prominent concepts of interest. In contrast, Multimodal LLMs can be guided with textual prompts, but the resulting representations tend to be language-centric and lose their effectiveness for generic visual tasks. To address this, we introduce Steerable Visual Representations, a new class of visual representations, whose global and local features can be steered with natural language. While most vision-language models (e.g., CLIP) fuse text with visual features after encoding (late fusion), we inject text directly into the layers of the visual encoder (early fusion) via lightweight cross-attention. We introduce benchmarks for measuring representational steerability, and demonstrate that our steerable visual features can focus on any desired objects in an image while preserving the underlying representation quality. Our method also matches or outperforms dedicated approaches on anomaly detection and personalized object discrimination, exhibiting zero-shot generalization to out-of-distribution tasks.