Управляемые визуальные представления

Аннотация

Предобученные Vision Transformers (ViTs), такие как DINOv2 и MAE, предоставляют универсальные визуальные признаки, которые могут быть применены к различным последующим задачам, таким как поиск, классификация и сегментация. Однако такие представления обычно фокусируются на наиболее значимых визуальных признаках в изображении, не позволяя направлять их на менее заметные объекты интереса. В отличие от них, мультимодальные большие языковые модели (Multimodal LLMs) можно направлять с помощью текстовых промптов, но результирующие представления часто становятся ориентированными на язык и теряют свою эффективность для общих визуальных задач. Чтобы решить эту проблему, мы представляем Управляемые Визуальные Представления — новый класс визуальных представлений, глобальные и локальные признаки которых можно направлять с помощью естественного языка. В то время как большинство моделей "визуальный язык" (например, CLIP) объединяют текст с визуальными признаками после кодирования (позднее слияние), мы внедряем текст непосредственно в слои визуального энкодера (раннее слияние) с помощью легковесного перекрёстного внимания. Мы представляем эталоны для измерения управляемости представлений и демонстрируем, что наши управляемые визуальные признаки могут фокусироваться на любых желаемых объектах в изображении, сохраняя при этом качество базового представления. Наш метод также соответствует или превосходит специализированные подходы в задачах обнаружения аномалий и персонализированного различения объектов, демонстрируя zero-shot обобщение на задачи за пределами распределения обучающих данных.

English

Pretrained Vision Transformers (ViTs) such as DINOv2 and MAE provide generic image features that can be applied to a variety of downstream tasks such as retrieval, classification, and segmentation. However, such representations tend to focus on the most salient visual cues in the image, with no way to direct them toward less prominent concepts of interest. In contrast, Multimodal LLMs can be guided with textual prompts, but the resulting representations tend to be language-centric and lose their effectiveness for generic visual tasks. To address this, we introduce Steerable Visual Representations, a new class of visual representations, whose global and local features can be steered with natural language. While most vision-language models (e.g., CLIP) fuse text with visual features after encoding (late fusion), we inject text directly into the layers of the visual encoder (early fusion) via lightweight cross-attention. We introduce benchmarks for measuring representational steerability, and demonstrate that our steerable visual features can focus on any desired objects in an image while preserving the underlying representation quality. Our method also matches or outperforms dedicated approaches on anomaly detection and personalized object discrimination, exhibiting zero-shot generalization to out-of-distribution tasks.