Representações Visuais Direcionáveis

Resumo

Os Vision Transformers (ViTs) pré-treinados, como DINOv2 e MAE, fornecem características visuais genéricas que podem ser aplicadas a diversas tarefas subsequentes, como recuperação, classificação e segmentação. No entanto, tais representações tendem a focar-se nas pistas visuais mais salientes da imagem, sem possibilidade de direcioná-las para conceitos de interesse menos proeminentes. Em contraste, os MLLMs (Multimodal Large Language Models) podem ser orientados por instruções textuais, mas as representações resultantes tendem a ser centradas na linguagem e perdem eficácia para tarefas visuais genéricas. Para resolver isto, introduzimos Representações Visuais Orientáveis, uma nova classe de representações visuais cujas características globais e locais podem ser direcionadas com linguagem natural. Enquanto a maioria dos modelos visão-linguagem (por exemplo, CLIP) funde texto com características visuais após a codificação (fusão tardia), nós injetamos texto diretamente nas camadas do codificador visual (fusão precoce) através de atenção cruzada leve. Introduzimos benchmarks para medir a orientabilidade representacional e demonstramos que as nossas características visuais orientáveis podem focar-se em quaisquer objetos desejados numa imagem, preservando a qualidade da representação subjacente. O nosso método também iguala ou supera abordagens dedicadas na deteção de anomalias e discriminação personalizada de objetos, exibindo generalização zero-shot para tarefas fora da distribuição.

English

Pretrained Vision Transformers (ViTs) such as DINOv2 and MAE provide generic image features that can be applied to a variety of downstream tasks such as retrieval, classification, and segmentation. However, such representations tend to focus on the most salient visual cues in the image, with no way to direct them toward less prominent concepts of interest. In contrast, Multimodal LLMs can be guided with textual prompts, but the resulting representations tend to be language-centric and lose their effectiveness for generic visual tasks. To address this, we introduce Steerable Visual Representations, a new class of visual representations, whose global and local features can be steered with natural language. While most vision-language models (e.g., CLIP) fuse text with visual features after encoding (late fusion), we inject text directly into the layers of the visual encoder (early fusion) via lightweight cross-attention. We introduce benchmarks for measuring representational steerability, and demonstrate that our steerable visual features can focus on any desired objects in an image while preserving the underlying representation quality. Our method also matches or outperforms dedicated approaches on anomaly detection and personalized object discrimination, exhibiting zero-shot generalization to out-of-distribution tasks.