Verborgen in het volle zicht: VLMs zien hun visuele representaties over het hoofd

Hidden in plain sight: VLMs overlook their visual representations

June 9, 2025

Auteurs: Stephanie Fu, Tyler Bonnen, Devin Guillory, Trevor Darrell

cs.AI

Samenvatting

Taal biedt een natuurlijke interface om prestaties op visuele taken te specificeren en te evalueren. Om deze mogelijkheid te realiseren, moeten vision language models (VLMs) visuele en linguïstische informatie succesvol integreren. Ons werk vergelijkt VLMs met een directe uitlezing van hun visuele encoders om hun vermogen om deze modaliteiten te integreren te begrijpen. Over een reeks visueel gerichte benchmarks (bijvoorbeeld diepteschatting, correspondentie) vinden we dat VLMs aanzienlijk slechter presteren dan hun visuele encoders, waarbij de prestaties tot bijna kansniveau dalen. We onderzoeken deze resultaten via een reeks analyses over de gehele VLM: namelijk 1) de degradatie van visuele representaties, 2) broosheid ten opzichte van taakprompts, en 3) de rol van het taalmodel bij het oplossen van de taak. We constateren dat de bottleneck bij het uitvoeren van deze visueel gerichte taken in deze derde categorie ligt; VLMs maken niet effectief gebruik van visuele informatie die gemakkelijk toegankelijk is in het gehele model, en ze erven de taalprioriteiten die aanwezig zijn in het LLM. Ons werk helpt bij het diagnosticeren van de faalmodi van open-source VLMs, en presenteert een reeks evaluaties die nuttig zijn voor toekomstig onderzoek naar visueel begrip binnen VLMs.

English

Language provides a natural interface to specify and evaluate performance on visual tasks. To realize this possibility, vision language models (VLMs) must successfully integrate visual and linguistic information. Our work compares VLMs to a direct readout of their visual encoders to understand their ability to integrate across these modalities. Across a series of vision-centric benchmarks (e.g., depth estimation, correspondence), we find that VLMs perform substantially worse than their visual encoders, dropping to near-chance performance. We investigate these results through a series of analyses across the entire VLM: namely 1) the degradation of vision representations, 2) brittleness to task prompt, and 3) the language model's role in solving the task. We find that the bottleneck in performing these vision-centric tasks lies in this third category; VLMs are not effectively using visual information easily accessible throughout the entire model, and they inherit the language priors present in the LLM. Our work helps diagnose the failure modes of open-source VLMs, and presents a series of evaluations useful for future investigations into visual understanding within VLMs.