MM-Vet: Evaluación de Modelos Multimodales Grandes para Capacidades Integradas

MM-Vet: Evaluating Large Multimodal Models for Integrated Capabilities

August 4, 2023

Autores: Weihao Yu, Zhengyuan Yang, Linjie Li, Jianfeng Wang, Kevin Lin, Zicheng Liu, Xinchao Wang, Lijuan Wang

cs.AI

Resumen

Proponemos MM-Vet, un punto de referencia de evaluación que examina a los modelos multimodales grandes (LMMs) en tareas multimodales complejas. Los LMMs recientes han demostrado diversas habilidades intrigantes, como resolver problemas matemáticos escritos en la pizarra, razonar sobre eventos y celebridades en imágenes de noticias, y explicar chistes visuales. Los rápidos avances en los modelos plantean desafíos para el desarrollo de puntos de referencia de evaluación. Los problemas incluyen: (1) Cómo estructurar y evaluar sistemáticamente las tareas multimodales complejas; (2) Cómo diseñar métricas de evaluación que funcionen bien en diferentes tipos de preguntas y respuestas; y (3) Cómo proporcionar insights sobre los modelos más allá de una simple clasificación de rendimiento. Con este fin, presentamos MM-Vet, diseñado bajo la premisa de que la capacidad intrigante para resolver tareas complejas a menudo se logra mediante un modelo generalista capaz de integrar diferentes capacidades centrales de visión y lenguaje (VL). MM-Vet define 6 capacidades centrales de VL y examina las 16 integraciones de interés derivadas de la combinación de capacidades. Para las métricas de evaluación, proponemos un evaluador basado en LLM para salidas de respuesta abierta. Este evaluador permite la evaluación en diferentes tipos de preguntas y estilos de respuesta, resultando en una métrica de puntuación unificada. Evaluamos LMMs representativos en MM-Vet, proporcionando insights sobre las capacidades de diferentes paradigmas de sistemas LMM y modelos. El código y los datos están disponibles en https://github.com/yuweihao/MM-Vet.

English

We propose MM-Vet, an evaluation benchmark that examines large multimodal models (LMMs) on complicated multimodal tasks. Recent LMMs have shown various intriguing abilities, such as solving math problems written on the blackboard, reasoning about events and celebrities in news images, and explaining visual jokes. Rapid model advancements pose challenges to evaluation benchmark development. Problems include: (1) How to systematically structure and evaluate the complicated multimodal tasks; (2) How to design evaluation metrics that work well across question and answer types; and (3) How to give model insights beyond a simple performance ranking. To this end, we present MM-Vet, designed based on the insight that the intriguing ability to solve complicated tasks is often achieved by a generalist model being able to integrate different core vision-language (VL) capabilities. MM-Vet defines 6 core VL capabilities and examines the 16 integrations of interest derived from the capability combination. For evaluation metrics, we propose an LLM-based evaluator for open-ended outputs. The evaluator enables the evaluation across different question types and answer styles, resulting in a unified scoring metric. We evaluate representative LMMs on MM-Vet, providing insights into the capabilities of different LMM system paradigms and models. Code and data are available at https://github.com/yuweihao/MM-Vet.