MultiVerse: Un punto de referencia para conversaciones de múltiples turnos para evaluar modelos grandes de visión y lenguaje

Resumen

Los Modelos de Visión y Lenguaje (VLMs, por sus siglas en inglés) han demostrado capacidades impresionantes en benchmarks de una sola interacción, sin embargo, las aplicaciones del mundo real a menudo exigen diálogos multiturno más complejos. Los conjuntos de datos multiturno existentes (por ejemplo, MMDU, ConvBench) solo capturan parcialmente la amplitud y profundidad de los escenarios conversacionales que encuentran los usuarios. En este trabajo, presentamos MultiVerse, un nuevo benchmark de conversaciones multiturno que incluye 647 diálogos —cada uno con un promedio de cuatro interacciones— derivados de un conjunto diverso de 12 benchmarks populares de evaluación de VLMs. Con 484 tareas y 484 objetivos de interacción, MultiVerse abarca una amplia gama de temas, desde conocimiento factual y percepción hasta tareas de razonamiento avanzado como matemáticas y programación. Para facilitar una evaluación robusta, proponemos un método de evaluación basado en listas de verificación que utiliza GPT-4o como evaluador automatizado, midiendo el rendimiento en 37 aspectos clave, incluyendo precisión perceptiva, claridad lingüística y corrección factual. Evaluamos 18 VLMs en MultiVerse, revelando que incluso los modelos más fuertes (por ejemplo, GPT-4o) logran solo un 50% de tasa de éxito en conversaciones multiturno complejas, lo que subraya la naturaleza desafiante del conjunto de datos. Notablemente, encontramos que proporcionar el contexto completo del diálogo mejora significativamente el rendimiento de modelos más pequeños o débiles, enfatizando la importancia del aprendizaje en contexto. Creemos que MultiVerse representa un panorama clave para evaluar las habilidades de interacción multiturno en VLMs.

English

Vision-and-Language Models (VLMs) have shown impressive capabilities on single-turn benchmarks, yet real-world applications often demand more intricate multi-turn dialogues. Existing multi-turn datasets (e.g, MMDU, ConvBench) only partially capture the breadth and depth of conversational scenarios encountered by users. In this work, we introduce MultiVerse, a novel multi-turn conversation benchmark featuring 647 dialogues - each averaging four turns - derived from a diverse set of 12 popular VLM evaluation benchmarks. With 484 tasks and 484 interaction goals, MultiVerse covers a wide range of topics, from factual knowledge and perception to advanced reasoning tasks such as mathematics and coding. To facilitate robust assessment, we propose a checklist-based evaluation method that leverages GPT-4o as the automated evaluator, measuring performance across 37 key aspects, including perceptual accuracy, linguistic clarity, and factual correctness. We evaluate 18 VLMs on MultiVerse, revealing that even the strongest models (e.g., GPT-4o) achieve only a 50% success rate in complex multi-turn conversations, highlighting the dataset's challenging nature. Notably, we find that providing full dialogue context significantly enhances performance for smaller or weaker models, emphasizing the importance of in-context learning. We believe MultiVerse is a landscape of evaluating multi-turn interaction abilities for VLMs.

MultiVerse: Un punto de referencia para conversaciones de múltiples turnos para evaluar modelos grandes de visión y lenguaje

MultiVerse: A Multi-Turn Conversation Benchmark for Evaluating Large Vision and Language Models

Resumen

Support