VLM^2-Bench: Een Diepere Blik op Hoe Goed VLMs Impliciet Expliciete Overeenkomende Visuele Aanwijzingen Koppelen

VLM^2-Bench: A Closer Look at How Well VLMs Implicitly Link Explicit Matching Visual Cues

February 17, 2025

Auteurs: Jianshu Zhang, Dongyu Yao, Renjie Pi, Paul Pu Liang, Yi R., Fung

cs.AI

Samenvatting

Het visueel koppelen van overeenkomende aanwijzingen is een cruciale vaardigheid in het dagelijks leven, zoals het identificeren van dezelfde persoon op meerdere foto's op basis van hun kenmerken, zelfs zonder te weten wie ze zijn. Ondanks de uitgebreide kennis die vision-language modellen (VLMs) bezitten, is het grotendeels onbekend of ze in staat zijn om deze fundamentele taak uit te voeren. Om dit aan te pakken, introduceren we VLM^2-Bench, een benchmark ontworpen om te beoordelen of VLMs visueel overeenkomende aanwijzingen kunnen koppelen, met 9 subtaken en meer dan 3.000 testgevallen. Een uitgebreide evaluatie van acht open-source VLMs en GPT-4o, samen met verdere analyse van verschillende taal- en visiegerichte promptingmethoden, leidt tot in totaal acht belangrijke bevindingen. We identificeren kritieke uitdagingen in het vermogen van modellen om visuele aanwijzingen te koppelen, waarbij een significant prestatieverschil wordt benadrukt waarbij zelfs GPT-4o 34,80% achterblijft op mensen. Op basis van deze inzichten pleiten we voor (i) het verbeteren van de kernvisuele capaciteiten om de aanpassingsvermogen te vergroten en de afhankelijkheid van voorkennis te verminderen, (ii) het vaststellen van duidelijkere principes voor het integreren van taalgebaseerd redeneren in visiegerichte taken om onnodige vooroordelen te voorkomen, en (iii) het verschuiven van visie-tekst trainingsparadigma's naar het bevorderen van het vermogen van modellen om onafhankelijk relaties tussen visuele aanwijzingen te structureren en af te leiden.

English

Visually linking matching cues is a crucial ability in daily life, such as identifying the same person in multiple photos based on their cues, even without knowing who they are. Despite the extensive knowledge that vision-language models (VLMs) possess, it remains largely unexplored whether they are capable of performing this fundamental task. To address this, we introduce VLM^2-Bench, a benchmark designed to assess whether VLMs can Visually Link Matching cues, with 9 subtasks and over 3,000 test cases. Comprehensive evaluation across eight open-source VLMs and GPT-4o, along with further analysis of various language-side and vision-side prompting methods, leads to a total of eight key findings. We identify critical challenges in models' ability to link visual cues, highlighting a significant performance gap where even GPT-4o lags 34.80% behind humans. Based on these insights, we advocate for (i) enhancing core visual capabilities to improve adaptability and reduce reliance on prior knowledge, (ii) establishing clearer principles for integrating language-based reasoning in vision-centric tasks to prevent unnecessary biases, and (iii) shifting vision-text training paradigms toward fostering models' ability to independently structure and infer relationships among visual cues.