VLM^2-Bench: Eine genauere Betrachtung, wie gut VLMs implizit explizite visuelle Übereinstimmungshinweise verknüpfen

VLM^2-Bench: A Closer Look at How Well VLMs Implicitly Link Explicit Matching Visual Cues

February 17, 2025

Autoren: Jianshu Zhang, Dongyu Yao, Renjie Pi, Paul Pu Liang, Yi R., Fung

cs.AI

Zusammenfassung

Das visuelle Verknüpfen übereinstimmender Hinweise ist eine entscheidende Fähigkeit im täglichen Leben, wie beispielsweise die Identifizierung derselben Person in mehreren Fotos anhand ihrer Merkmale, selbst ohne zu wissen, wer sie ist. Obwohl Vision-Language-Modelle (VLMs) über umfangreiches Wissen verfügen, bleibt weitgehend unerforscht, ob sie diese grundlegende Aufgabe bewältigen können. Um dies zu untersuchen, stellen wir VLM^2-Bench vor, einen Benchmark, der entwickelt wurde, um zu bewerten, ob VLMs visuell übereinstimmende Hinweise verknüpfen können. Dieser umfasst 9 Unteraufgaben und über 3.000 Testfälle. Eine umfassende Evaluierung von acht Open-Source-VLMs und GPT-4o sowie eine weitere Analyse verschiedener sprach- und bildseitiger Prompting-Methoden führen zu insgesamt acht zentralen Erkenntnissen. Wir identifizieren kritische Herausforderungen bei der Fähigkeit der Modelle, visuelle Hinweise zu verknüpfen, und heben eine erhebliche Leistungslücke hervor, bei der selbst GPT-4o 34,80 % hinter menschlicher Leistung zurückbleibt. Basierend auf diesen Erkenntnissen plädieren wir für (i) die Verbesserung der Kernfähigkeiten im visuellen Bereich, um die Anpassungsfähigkeit zu erhöhen und die Abhängigkeit von Vorwissen zu verringern, (ii) die Etablierung klarerer Prinzipien für die Integration sprachbasierter Logik in visuell zentrierte Aufgaben, um unnötige Verzerrungen zu vermeiden, und (iii) die Verschiebung der Vision-Text-Trainingsparadigmen hin zur Förderung der Fähigkeit von Modellen, Beziehungen zwischen visuellen Hinweisen eigenständig zu strukturieren und abzuleiten.

English

Visually linking matching cues is a crucial ability in daily life, such as identifying the same person in multiple photos based on their cues, even without knowing who they are. Despite the extensive knowledge that vision-language models (VLMs) possess, it remains largely unexplored whether they are capable of performing this fundamental task. To address this, we introduce VLM^2-Bench, a benchmark designed to assess whether VLMs can Visually Link Matching cues, with 9 subtasks and over 3,000 test cases. Comprehensive evaluation across eight open-source VLMs and GPT-4o, along with further analysis of various language-side and vision-side prompting methods, leads to a total of eight key findings. We identify critical challenges in models' ability to link visual cues, highlighting a significant performance gap where even GPT-4o lags 34.80% behind humans. Based on these insights, we advocate for (i) enhancing core visual capabilities to improve adaptability and reduce reliance on prior knowledge, (ii) establishing clearer principles for integrating language-based reasoning in vision-centric tasks to prevent unnecessary biases, and (iii) shifting vision-text training paradigms toward fostering models' ability to independently structure and infer relationships among visual cues.