MultiVerse: Ein Benchmark für Mehrfachdialoge zur Bewertung großer Vision- und Sprachmodelle

papers.abstract

Vision-and-Language-Modelle (VLMs) haben beeindruckende Fähigkeiten auf Single-Turn-Benchmarks gezeigt, doch erfordern reale Anwendungen oft komplexere Mehrfachdialoge. Bestehende Mehrfachdialog-Datensätze (z. B. MMDU, ConvBench) erfassen nur teilweise die Breite und Tiefe der Konversationsszenarien, denen Nutzer begegnen. In dieser Arbeit stellen wir MultiVerse vor, einen neuartigen Mehrfachdialog-Benchmark mit 647 Dialogen – jeder durchschnittlich vier Turns umfassend –, die aus einer vielfältigen Sammlung von 12 populären VLM-Evaluierungsbenchmarks abgeleitet wurden. Mit 484 Aufgaben und 484 Interaktionszielen deckt MultiVerse ein breites Themenspektrum ab, von faktischem Wissen und Wahrnehmung bis hin zu anspruchsvollen Denkaufgaben wie Mathematik und Programmierung. Um eine robuste Bewertung zu ermöglichen, schlagen wir eine Checklisten-basierte Evaluierungsmethode vor, die GPT-4o als automatisierten Bewerter nutzt und die Leistung über 37 Schlüsselaspekte hinweg misst, darunter Wahrnehmungsgenauigkeit, sprachliche Klarheit und faktische Korrektheit. Wir evaluieren 18 VLMs auf MultiVerse und zeigen, dass selbst die stärksten Modelle (z. B. GPT-4o) in komplexen Mehrfachdialogen nur eine Erfolgsquote von 50 % erreichen, was die herausfordernde Natur des Datensatzes unterstreicht. Bemerkenswerterweise stellen wir fest, dass die Bereitstellung des vollständigen Dialogkontexts die Leistung kleinerer oder schwächerer Modelle signifikant verbessert, was die Bedeutung von In-Context-Lernen betont. Wir glauben, dass MultiVerse eine Landschaft zur Bewertung der Fähigkeiten von VLMs in Mehrfachinteraktionen darstellt.

English

Vision-and-Language Models (VLMs) have shown impressive capabilities on single-turn benchmarks, yet real-world applications often demand more intricate multi-turn dialogues. Existing multi-turn datasets (e.g, MMDU, ConvBench) only partially capture the breadth and depth of conversational scenarios encountered by users. In this work, we introduce MultiVerse, a novel multi-turn conversation benchmark featuring 647 dialogues - each averaging four turns - derived from a diverse set of 12 popular VLM evaluation benchmarks. With 484 tasks and 484 interaction goals, MultiVerse covers a wide range of topics, from factual knowledge and perception to advanced reasoning tasks such as mathematics and coding. To facilitate robust assessment, we propose a checklist-based evaluation method that leverages GPT-4o as the automated evaluator, measuring performance across 37 key aspects, including perceptual accuracy, linguistic clarity, and factual correctness. We evaluate 18 VLMs on MultiVerse, revealing that even the strongest models (e.g., GPT-4o) achieve only a 50% success rate in complex multi-turn conversations, highlighting the dataset's challenging nature. Notably, we find that providing full dialogue context significantly enhances performance for smaller or weaker models, emphasizing the importance of in-context learning. We believe MultiVerse is a landscape of evaluating multi-turn interaction abilities for VLMs.

MultiVerse: Ein Benchmark für Mehrfachdialoge zur Bewertung großer Vision- und Sprachmodelle

MultiVerse: A Multi-Turn Conversation Benchmark for Evaluating Large Vision and Language Models

papers.abstract

Support