VLM^2-Bench : Un examen approfondi de la capacité des VLM à établir implicitement des liens entre des indices visuels explicites correspondants

VLM^2-Bench: A Closer Look at How Well VLMs Implicitly Link Explicit Matching Visual Cues

February 17, 2025

Auteurs: Jianshu Zhang, Dongyu Yao, Renjie Pi, Paul Pu Liang, Yi R., Fung

cs.AI

Résumé

Lier visuellement des indices correspondants est une compétence cruciale dans la vie quotidienne, comme identifier la même personne sur plusieurs photos en se basant sur ses indices, même sans savoir qui elle est. Malgré les vastes connaissances dont disposent les modèles vision-langage (VLMs), il reste largement inexploré s'ils sont capables d'accomplir cette tâche fondamentale. Pour aborder cette question, nous introduisons VLM^2-Bench, un benchmark conçu pour évaluer si les VLMs peuvent lier visuellement des indices correspondants, avec 9 sous-tâches et plus de 3 000 cas de test. Une évaluation approfondie de huit VLMs open-source et de GPT-4o, ainsi qu'une analyse approfondie de diverses méthodes d'invocation côté langage et côté vision, conduisent à un total de huit conclusions clés. Nous identifions des défis critiques dans la capacité des modèles à relier des indices visuels, mettant en évidence un écart de performance significatif où même GPT-4o est en retard de 34,80 % par rapport aux humains. Sur la base de ces insights, nous préconisons (i) d'améliorer les capacités visuelles de base pour accroître l'adaptabilité et réduire la dépendance aux connaissances préalables, (ii) d'établir des principes plus clairs pour intégrer le raisonnement basé sur le langage dans les tâches centrées sur la vision afin d'éviter des biais inutiles, et (iii) de faire évoluer les paradigmes d'entraînement vision-texte vers le développement de la capacité des modèles à structurer et inférer de manière indépendante les relations entre les indices visuels.

English

Visually linking matching cues is a crucial ability in daily life, such as identifying the same person in multiple photos based on their cues, even without knowing who they are. Despite the extensive knowledge that vision-language models (VLMs) possess, it remains largely unexplored whether they are capable of performing this fundamental task. To address this, we introduce VLM^2-Bench, a benchmark designed to assess whether VLMs can Visually Link Matching cues, with 9 subtasks and over 3,000 test cases. Comprehensive evaluation across eight open-source VLMs and GPT-4o, along with further analysis of various language-side and vision-side prompting methods, leads to a total of eight key findings. We identify critical challenges in models' ability to link visual cues, highlighting a significant performance gap where even GPT-4o lags 34.80% behind humans. Based on these insights, we advocate for (i) enhancing core visual capabilities to improve adaptability and reduce reliance on prior knowledge, (ii) establishing clearer principles for integrating language-based reasoning in vision-centric tasks to prevent unnecessary biases, and (iii) shifting vision-text training paradigms toward fostering models' ability to independently structure and infer relationships among visual cues.