Скрытое на виду: VLMs упускают свои визуальные представления

Hidden in plain sight: VLMs overlook their visual representations

June 9, 2025

Авторы: Stephanie Fu, Tyler Bonnen, Devin Guillory, Trevor Darrell

cs.AI

Аннотация

Язык предоставляет естественный интерфейс для определения и оценки производительности в визуальных задачах. Чтобы реализовать эту возможность, модели, объединяющие зрение и язык (Vision Language Models, VLMs), должны успешно интегрировать визуальную и лингвистическую информацию. В нашей работе VLMs сравниваются с прямым считыванием их визуальных кодировщиков, чтобы понять их способность к интеграции этих модальностей. На серии визуально-ориентированных тестов (например, оценка глубины, соответствие) мы обнаруживаем, что VLMs показывают значительно худшие результаты по сравнению с их визуальными кодировщиками, приближаясь к случайному уровню производительности. Мы исследуем эти результаты с помощью серии анализов, охватывающих всю VLM: а именно 1) ухудшение визуальных представлений, 2) хрупкость к формулировке задачи и 3) роль языковой модели в решении задачи. Мы обнаруживаем, что узким местом в выполнении этих визуально-ориентированных задач является третья категория; VLMs неэффективно используют визуальную информацию, которая легко доступна на протяжении всей модели, и наследуют языковые приоритеты, присутствующие в LLM. Наша работа помогает диагностировать причины сбоев в открытых VLMs и представляет серию оценок, полезных для будущих исследований визуального понимания в рамках VLMs.

English

Language provides a natural interface to specify and evaluate performance on visual tasks. To realize this possibility, vision language models (VLMs) must successfully integrate visual and linguistic information. Our work compares VLMs to a direct readout of their visual encoders to understand their ability to integrate across these modalities. Across a series of vision-centric benchmarks (e.g., depth estimation, correspondence), we find that VLMs perform substantially worse than their visual encoders, dropping to near-chance performance. We investigate these results through a series of analyses across the entire VLM: namely 1) the degradation of vision representations, 2) brittleness to task prompt, and 3) the language model's role in solving the task. We find that the bottleneck in performing these vision-centric tasks lies in this third category; VLMs are not effectively using visual information easily accessible throughout the entire model, and they inherit the language priors present in the LLM. Our work helps diagnose the failure modes of open-source VLMs, and presents a series of evaluations useful for future investigations into visual understanding within VLMs.