MM-Vet: Bewertung großer multimodaler Modelle auf integrierte Fähigkeiten

MM-Vet: Evaluating Large Multimodal Models for Integrated Capabilities

August 4, 2023

Autoren: Weihao Yu, Zhengyuan Yang, Linjie Li, Jianfeng Wang, Kevin Lin, Zicheng Liu, Xinchao Wang, Lijuan Wang

cs.AI

Zusammenfassung

Wir stellen MM-Vet vor, einen Evaluierungsbenchmark, der große multimodale Modelle (LMMs) auf komplexe multimodale Aufgaben hin untersucht. Aktuelle LMMs haben verschiedene faszinierende Fähigkeiten gezeigt, wie das Lösen von mathematischen Problemen, die auf einer Tafel geschrieben sind, das Schlussfolgern über Ereignisse und Prominente in Nachrichtenbildern und das Erklären von visuellen Witzen. Die schnellen Fortschritte bei den Modellen stellen Herausforderungen für die Entwicklung von Evaluierungsbenchmarks dar. Zu den Problemen gehören: (1) Wie man die komplexen multimodalen Aufgaben systematisch strukturiert und bewertet; (2) Wie man Evaluierungsmetriken entwirft, die gut über verschiedene Frage- und Antworttypen hinweg funktionieren; und (3) Wie man Einblicke in die Modelle über eine einfache Leistungsrangfolge hinaus gibt. Zu diesem Zweck präsentieren wir MM-Vet, das auf der Erkenntnis basiert, dass die faszinierende Fähigkeit, komplexe Aufgaben zu lösen, oft von einem Generalistenmodell erreicht wird, das verschiedene Kernfähigkeiten der visuell-sprachlichen (VL) Integration beherrscht. MM-Vet definiert 6 Kern-VL-Fähigkeiten und untersucht die 16 interessanten Integrationen, die sich aus der Kombination dieser Fähigkeiten ergeben. Für die Evaluierungsmetriken schlagen wir einen LLM-basierten Evaluator für offene Ausgaben vor. Der Evaluator ermöglicht die Bewertung über verschiedene Fragentypen und Antwortstile hinweg, was zu einer einheitlichen Bewertungsmetrik führt. Wir evaluieren repräsentative LMMs auf MM-Vet und liefern Einblicke in die Fähigkeiten verschiedener LMM-Systemparadigmen und Modelle. Code und Daten sind verfügbar unter https://github.com/yuweihao/MM-Vet.

English

We propose MM-Vet, an evaluation benchmark that examines large multimodal models (LMMs) on complicated multimodal tasks. Recent LMMs have shown various intriguing abilities, such as solving math problems written on the blackboard, reasoning about events and celebrities in news images, and explaining visual jokes. Rapid model advancements pose challenges to evaluation benchmark development. Problems include: (1) How to systematically structure and evaluate the complicated multimodal tasks; (2) How to design evaluation metrics that work well across question and answer types; and (3) How to give model insights beyond a simple performance ranking. To this end, we present MM-Vet, designed based on the insight that the intriguing ability to solve complicated tasks is often achieved by a generalist model being able to integrate different core vision-language (VL) capabilities. MM-Vet defines 6 core VL capabilities and examines the 16 integrations of interest derived from the capability combination. For evaluation metrics, we propose an LLM-based evaluator for open-ended outputs. The evaluator enables the evaluation across different question types and answer styles, resulting in a unified scoring metric. We evaluate representative LMMs on MM-Vet, providing insights into the capabilities of different LMM system paradigms and models. Code and data are available at https://github.com/yuweihao/MM-Vet.