MultiVerse: Um Benchmark de Conversas Multi-turn para Avaliação de Grandes Modelos de Visão e Linguagem

Resumo

Modelos de Visão e Linguagem (VLMs) têm demonstrado capacidades impressionantes em benchmarks de turno único, mas aplicações do mundo real frequentemente exigem diálogos multi-turnos mais complexos. Os conjuntos de dados multi-turnos existentes (por exemplo, MMDU, ConvBench) capturam apenas parcialmente a amplitude e profundidade dos cenários conversacionais encontrados pelos usuários. Neste trabalho, introduzimos o MultiVerse, um novo benchmark de conversação multi-turno que apresenta 647 diálogos - cada um com uma média de quatro turnos - derivados de um conjunto diversificado de 12 benchmarks populares de avaliação de VLMs. Com 484 tarefas e 484 objetivos de interação, o MultiVerse abrange uma ampla gama de tópicos, desde conhecimento factual e percepção até tarefas avançadas de raciocínio, como matemática e programação. Para facilitar uma avaliação robusta, propomos um método de avaliação baseado em checklist que utiliza o GPT-4o como avaliador automatizado, medindo o desempenho em 37 aspectos-chave, incluindo precisão perceptiva, clareza linguística e correção factual. Avaliamos 18 VLMs no MultiVerse, revelando que mesmo os modelos mais fortes (por exemplo, GPT-4o) alcançam apenas uma taxa de sucesso de 50% em conversas multi-turnos complexas, destacando a natureza desafiadora do conjunto de dados. Notavelmente, descobrimos que fornecer o contexto completo do diálogo melhora significativamente o desempenho de modelos menores ou mais fracos, enfatizando a importância do aprendizado em contexto. Acreditamos que o MultiVerse é um marco na avaliação das habilidades de interação multi-turno para VLMs.

English

Vision-and-Language Models (VLMs) have shown impressive capabilities on single-turn benchmarks, yet real-world applications often demand more intricate multi-turn dialogues. Existing multi-turn datasets (e.g, MMDU, ConvBench) only partially capture the breadth and depth of conversational scenarios encountered by users. In this work, we introduce MultiVerse, a novel multi-turn conversation benchmark featuring 647 dialogues - each averaging four turns - derived from a diverse set of 12 popular VLM evaluation benchmarks. With 484 tasks and 484 interaction goals, MultiVerse covers a wide range of topics, from factual knowledge and perception to advanced reasoning tasks such as mathematics and coding. To facilitate robust assessment, we propose a checklist-based evaluation method that leverages GPT-4o as the automated evaluator, measuring performance across 37 key aspects, including perceptual accuracy, linguistic clarity, and factual correctness. We evaluate 18 VLMs on MultiVerse, revealing that even the strongest models (e.g., GPT-4o) achieve only a 50% success rate in complex multi-turn conversations, highlighting the dataset's challenging nature. Notably, we find that providing full dialogue context significantly enhances performance for smaller or weaker models, emphasizing the importance of in-context learning. We believe MultiVerse is a landscape of evaluating multi-turn interaction abilities for VLMs.

MultiVerse: Um Benchmark de Conversas Multi-turn para Avaliação de Grandes Modelos de Visão e Linguagem

MultiVerse: A Multi-Turn Conversation Benchmark for Evaluating Large Vision and Language Models

Resumo

Support