MultiVerse: Een Benchmark voor Multi-Turn Gesprekken voor het Evalueren van Grote Visuele en Taalmodellen

MultiVerse: A Multi-Turn Conversation Benchmark for Evaluating Large Vision and Language Models

October 18, 2025

Auteurs: Young-Jun Lee, Byung-Kwan Lee, Jianshu Zhang, Yechan Hwang, Byungsoo Ko, Han-Gyu Kim, Dongyu Yao, Xuankun Rong, Eojin Joo, Seung-Ho Han, Bowon Ko, Ho-Jin Choi

cs.AI

Samenvatting

Vision-and-Language Models (VLMs) hebben indrukwekkende prestaties getoond op single-turn benchmarks, maar real-world toepassingen vereisen vaak complexere multi-turn dialogen. Bestaande multi-turn datasets (bijv. MMDU, ConvBench) vangen slechts gedeeltelijk de breedte en diepte van conversatiescenario's die gebruikers tegenkomen. In dit werk introduceren we MultiVerse, een nieuwe multi-turn conversatiebenchmark met 647 dialogen - elk gemiddeld vier beurten - afgeleid uit een diverse set van 12 populaire VLM-evaluatiebenchmarks. Met 484 taken en 484 interactiedoelen bestrijkt MultiVerse een breed scala aan onderwerpen, van feitelijke kennis en perceptie tot geavanceerde redeneertaken zoals wiskunde en coderen. Om een robuuste beoordeling mogelijk te maken, stellen we een checklist-gebaseerde evaluatiemethode voor die GPT-4o gebruikt als geautomatiseerde beoordelaar, waarbij prestaties worden gemeten op 37 belangrijke aspecten, waaronder perceptuele nauwkeurigheid, linguïstische helderheid en feitelijke correctheid. We evalueren 18 VLMs op MultiVerse, waaruit blijkt dat zelfs de sterkste modellen (bijv. GPT-4o) slechts een slagingspercentage van 50% behalen in complexe multi-turn conversaties, wat de uitdagende aard van de dataset benadrukt. Opmerkelijk is dat we vaststellen dat het verstrekken van volledige dialoogcontext de prestaties aanzienlijk verbetert voor kleinere of zwakkere modellen, wat het belang van in-context leren onderstreept. Wij geloven dat MultiVerse een landschap biedt voor het evalueren van multi-turn interactievaardigheden voor VLMs.

English

Vision-and-Language Models (VLMs) have shown impressive capabilities on single-turn benchmarks, yet real-world applications often demand more intricate multi-turn dialogues. Existing multi-turn datasets (e.g, MMDU, ConvBench) only partially capture the breadth and depth of conversational scenarios encountered by users. In this work, we introduce MultiVerse, a novel multi-turn conversation benchmark featuring 647 dialogues - each averaging four turns - derived from a diverse set of 12 popular VLM evaluation benchmarks. With 484 tasks and 484 interaction goals, MultiVerse covers a wide range of topics, from factual knowledge and perception to advanced reasoning tasks such as mathematics and coding. To facilitate robust assessment, we propose a checklist-based evaluation method that leverages GPT-4o as the automated evaluator, measuring performance across 37 key aspects, including perceptual accuracy, linguistic clarity, and factual correctness. We evaluate 18 VLMs on MultiVerse, revealing that even the strongest models (e.g., GPT-4o) achieve only a 50% success rate in complex multi-turn conversations, highlighting the dataset's challenging nature. Notably, we find that providing full dialogue context significantly enhances performance for smaller or weaker models, emphasizing the importance of in-context learning. We believe MultiVerse is a landscape of evaluating multi-turn interaction abilities for VLMs.