Verborgen in aller Öffentlichkeit: VLMs übersehen ihre visuellen Darstellungen

Hidden in plain sight: VLMs overlook their visual representations

June 9, 2025

Autoren: Stephanie Fu, Tyler Bonnen, Devin Guillory, Trevor Darrell

cs.AI

Zusammenfassung

Sprache bietet eine natürliche Schnittstelle, um die Leistung bei visuellen Aufgaben zu spezifizieren und zu bewerten. Um diese Möglichkeit zu realisieren, müssen Vision-Language-Modelle (VLMs) visuelle und linguistische Informationen erfolgreich integrieren. Unsere Arbeit vergleicht VLMs mit einem direkten Auslesen ihrer visuellen Encoder, um ihre Fähigkeit zur Integration über diese Modalitäten hinweg zu verstehen. Über eine Reihe von visuell zentrierten Benchmarks (z. B. Tiefenschätzung, Korrespondenz) stellen wir fest, dass VLMs deutlich schlechter abschneiden als ihre visuellen Encoder und auf nahezu zufällige Leistung abfallen. Wir untersuchen diese Ergebnisse durch eine Reihe von Analysen über das gesamte VLM hinweg, nämlich 1) die Verschlechterung der visuellen Repräsentationen, 2) die Anfälligkeit gegenüber Aufgabenprompts und 3) die Rolle des Sprachmodells bei der Lösung der Aufgabe. Wir stellen fest, dass der Engpass bei der Ausführung dieser visuell zentrierten Aufgaben in der dritten Kategorie liegt; VLMs nutzen die visuellen Informationen, die im gesamten Modell leicht zugänglich sind, nicht effektiv, und sie übernehmen die Sprachpriors, die im LLM vorhanden sind. Unsere Arbeit hilft, die Fehlermodi von Open-Source-VLMs zu diagnostizieren, und präsentiert eine Reihe von Bewertungen, die für zukünftige Untersuchungen zum visuellen Verständnis innerhalb von VLMs nützlich sind.

English

Language provides a natural interface to specify and evaluate performance on visual tasks. To realize this possibility, vision language models (VLMs) must successfully integrate visual and linguistic information. Our work compares VLMs to a direct readout of their visual encoders to understand their ability to integrate across these modalities. Across a series of vision-centric benchmarks (e.g., depth estimation, correspondence), we find that VLMs perform substantially worse than their visual encoders, dropping to near-chance performance. We investigate these results through a series of analyses across the entire VLM: namely 1) the degradation of vision representations, 2) brittleness to task prompt, and 3) the language model's role in solving the task. We find that the bottleneck in performing these vision-centric tasks lies in this third category; VLMs are not effectively using visual information easily accessible throughout the entire model, and they inherit the language priors present in the LLM. Our work helps diagnose the failure modes of open-source VLMs, and presents a series of evaluations useful for future investigations into visual understanding within VLMs.