MultiVerse: Un Benchmark per Conversazioni Multi-Turn per la Valutazione di Modelli Linguistici e Visivi di Grande Scala

MultiVerse: A Multi-Turn Conversation Benchmark for Evaluating Large Vision and Language Models

October 18, 2025

Autori: Young-Jun Lee, Byung-Kwan Lee, Jianshu Zhang, Yechan Hwang, Byungsoo Ko, Han-Gyu Kim, Dongyu Yao, Xuankun Rong, Eojin Joo, Seung-Ho Han, Bowon Ko, Ho-Jin Choi

cs.AI

Abstract

I modelli Vision-and-Language (VLMs) hanno dimostrato capacità impressionanti su benchmark a singolo turno, ma le applicazioni nel mondo reale spesso richiedono dialoghi multi-turn più complessi. I dataset multi-turn esistenti (ad esempio, MMDU, ConvBench) catturano solo parzialmente l'ampiezza e la profondità degli scenari conversazionali incontrati dagli utenti. In questo lavoro, introduciamo MultiVerse, un nuovo benchmark per conversazioni multi-turn che presenta 647 dialoghi - ciascuno con una media di quattro turni - derivati da un insieme diversificato di 12 popolari benchmark di valutazione per VLMs. Con 484 task e 484 obiettivi di interazione, MultiVerse copre un'ampia gamma di argomenti, dalla conoscenza fattuale e la percezione a task di ragionamento avanzato come la matematica e la programmazione. Per facilitare una valutazione robusta, proponiamo un metodo di valutazione basato su checklist che utilizza GPT-4o come valutatore automatico, misurando le prestazioni su 37 aspetti chiave, tra cui accuratezza percettiva, chiarezza linguistica e correttezza fattuale. Valutiamo 18 VLMs su MultiVerse, rivelando che anche i modelli più forti (ad esempio, GPT-4o) raggiungono solo un tasso di successo del 50% in conversazioni multi-turn complesse, evidenziando la natura impegnativa del dataset. In particolare, scopriamo che fornire il contesto completo del dialogo migliora significativamente le prestazioni per modelli più piccoli o più deboli, sottolineando l'importanza dell'apprendimento contestuale. Crediamo che MultiVerse rappresenti un punto di riferimento per valutare le capacità di interazione multi-turn dei VLMs.

English

Vision-and-Language Models (VLMs) have shown impressive capabilities on single-turn benchmarks, yet real-world applications often demand more intricate multi-turn dialogues. Existing multi-turn datasets (e.g, MMDU, ConvBench) only partially capture the breadth and depth of conversational scenarios encountered by users. In this work, we introduce MultiVerse, a novel multi-turn conversation benchmark featuring 647 dialogues - each averaging four turns - derived from a diverse set of 12 popular VLM evaluation benchmarks. With 484 tasks and 484 interaction goals, MultiVerse covers a wide range of topics, from factual knowledge and perception to advanced reasoning tasks such as mathematics and coding. To facilitate robust assessment, we propose a checklist-based evaluation method that leverages GPT-4o as the automated evaluator, measuring performance across 37 key aspects, including perceptual accuracy, linguistic clarity, and factual correctness. We evaluate 18 VLMs on MultiVerse, revealing that even the strongest models (e.g., GPT-4o) achieve only a 50% success rate in complex multi-turn conversations, highlighting the dataset's challenging nature. Notably, we find that providing full dialogue context significantly enhances performance for smaller or weaker models, emphasizing the importance of in-context learning. We believe MultiVerse is a landscape of evaluating multi-turn interaction abilities for VLMs.