Représentations Visuelles Orientables

Résumé

Les Vision Transformers pré-entraînés (ViTs) tels que DINOv2 et MAE fournissent des caractéristiques d'image génériques applicables à diverses tâches en aval comme la recherche, la classification et la segmentation. Cependant, ces représentations tendent à se concentrer sur les indices visuels les plus saillants de l'image, sans possibilité de les orienter vers des concepts d'intérêt moins prominents. À l'inverse, les modèles de langage multimodaux peuvent être guidés par des invites textuelles, mais les représentations résultantes deviennent centrées sur le langage et perdent en efficacité pour les tâches visuelles génériques. Pour résoudre ce problème, nous présentons les Représentations Visuels Pilotables, une nouvelle classe de représentations visuelles dont les caractéristiques globales et locales peuvent être orientées par le langage naturel. Alors que la plupart des modèles vision-langage (comme CLIP) fusionnent le texte avec les caractéristiques visuelles après l'encodage (fusion tardive), nous injectons directement le texte dans les couches de l'encodeur visuel (fusion précoce) via un mécanisme d'attention croisée léger. Nous introduisons des benchmarks pour mesurer la pilotabilité représentationnelle et démontrons que nos caractéristiques visuelles pilotables peuvent se concentrer sur n'importe quel objet souhaité dans une image tout en préservant la qualité de la représentation sous-jacente. Notre méthode égal ou surpasse également les approches spécialisées en détection d'anomalies et discrimination d'objets personnalisés, avec une généralisation zero-shot à des tâches hors distribution.

English

Pretrained Vision Transformers (ViTs) such as DINOv2 and MAE provide generic image features that can be applied to a variety of downstream tasks such as retrieval, classification, and segmentation. However, such representations tend to focus on the most salient visual cues in the image, with no way to direct them toward less prominent concepts of interest. In contrast, Multimodal LLMs can be guided with textual prompts, but the resulting representations tend to be language-centric and lose their effectiveness for generic visual tasks. To address this, we introduce Steerable Visual Representations, a new class of visual representations, whose global and local features can be steered with natural language. While most vision-language models (e.g., CLIP) fuse text with visual features after encoding (late fusion), we inject text directly into the layers of the visual encoder (early fusion) via lightweight cross-attention. We introduce benchmarks for measuring representational steerability, and demonstrate that our steerable visual features can focus on any desired objects in an image while preserving the underlying representation quality. Our method also matches or outperforms dedicated approaches on anomaly detection and personalized object discrimination, exhibiting zero-shot generalization to out-of-distribution tasks.