Representaciones Visuales Orientables

Resumen

Los Transformadores de Visión Preentrenados (ViT) como DINOv2 y MAE proporcionan características de imagen genéricas aplicables a diversas tareas secundarias como recuperación, clasificación y segmentación. Sin embargo, estas representaciones suelen centrarse en las señales visuales más destacadas de la imagen, sin capacidad para dirigirlas hacia conceptos de interés menos prominentes. Por el contrario, los Modelos de Lenguaje Multimodales pueden guiarse mediante indicaciones textuales, pero las representaciones resultantes tienden a ser centradas en el lenguaje y pierden eficacia para tareas visuales genéricas. Para abordar esto, presentamos Representaciones Visuales Dirigibles, una nueva clase de representaciones visuales cuyas características globales y locales pueden orientarse mediante lenguaje natural. Mientras la mayoría de los modelos visión-lenguaje (por ejemplo, CLIP) fusionan texto con características visuales después de la codificación (fusión tardía), nosotros inyectamos texto directamente en las capas del codificador visual (fusión temprana) mediante atención cruzada ligera. Introducimos benchmarks para medir la capacidad de dirección representacional y demostramos que nuestras características visuales dirigibles pueden centrarse en cualquier objeto deseado de una imagen mientras preservan la calidad de la representación subyacente. Nuestro método también iguala o supera a enfoques especializados en detección de anomalías y discriminación personalizada de objetos, exhibiendo generalización zero-shot para tareas fuera de distribución.

English

Pretrained Vision Transformers (ViTs) such as DINOv2 and MAE provide generic image features that can be applied to a variety of downstream tasks such as retrieval, classification, and segmentation. However, such representations tend to focus on the most salient visual cues in the image, with no way to direct them toward less prominent concepts of interest. In contrast, Multimodal LLMs can be guided with textual prompts, but the resulting representations tend to be language-centric and lose their effectiveness for generic visual tasks. To address this, we introduce Steerable Visual Representations, a new class of visual representations, whose global and local features can be steered with natural language. While most vision-language models (e.g., CLIP) fuse text with visual features after encoding (late fusion), we inject text directly into the layers of the visual encoder (early fusion) via lightweight cross-attention. We introduce benchmarks for measuring representational steerability, and demonstrate that our steerable visual features can focus on any desired objects in an image while preserving the underlying representation quality. Our method also matches or outperforms dedicated approaches on anomaly detection and personalized object discrimination, exhibiting zero-shot generalization to out-of-distribution tasks.