MultiVerse: 대규모 시각 및 언어 모델 평가를 위한 다중 턴 대화 벤치마크

초록

비전-언어 모델(Vision-and-Language Models, VLMs)은 단일 턴 벤치마크에서 인상적인 성능을 보여주었으나, 실제 응용에서는 더 복잡한 다중 턴 대화가 요구되는 경우가 많다. 기존의 다중 턴 데이터셋(예: MMDU, ConvBench)은 사용자가 경험하는 대화 시나리오의 폭과 깊이를 부분적으로만 반영하고 있다. 본 연구에서는 12개의 인기 있는 VLM 평가 벤치마크에서 도출된 647개의 대화(각각 평균 4턴)로 구성된 새로운 다중 턴 대화 벤치마크인 MultiVerse를 소개한다. 484개의 작업과 484개의 상호작용 목표를 포함한 MultiVerse는 사실적 지식과 인지부터 수학 및 코딩과 같은 고급 추론 작업에 이르기까지 다양한 주제를 다룬다. 강력한 평가를 위해 GPT-4o를 자동 평가자로 활용한 체크리스트 기반 평가 방법을 제안하며, 이는 인지 정확도, 언어적 명확성, 사실적 정확성 등 37개의 주요 측면에서 성능을 측정한다. MultiVerse에서 18개의 VLM을 평가한 결과, 가장 강력한 모델(예: GPT-4o)조차도 복잡한 다중 턴 대화에서 50%의 성공률에 그치는 것으로 나타나 이 데이터셋의 도전적인 특성을 강조한다. 특히, 전체 대화 문맥을 제공하는 것이 더 작거나 약한 모델의 성능을 크게 향상시킨다는 점을 발견했으며, 이는 문맥 학습의 중요성을 강조한다. 우리는 MultiVerse가 VLM의 다중 턴 상호작용 능력을 평가하는 데 있어 중요한 지형을 제공한다고 믿는다.

English

Vision-and-Language Models (VLMs) have shown impressive capabilities on single-turn benchmarks, yet real-world applications often demand more intricate multi-turn dialogues. Existing multi-turn datasets (e.g, MMDU, ConvBench) only partially capture the breadth and depth of conversational scenarios encountered by users. In this work, we introduce MultiVerse, a novel multi-turn conversation benchmark featuring 647 dialogues - each averaging four turns - derived from a diverse set of 12 popular VLM evaluation benchmarks. With 484 tasks and 484 interaction goals, MultiVerse covers a wide range of topics, from factual knowledge and perception to advanced reasoning tasks such as mathematics and coding. To facilitate robust assessment, we propose a checklist-based evaluation method that leverages GPT-4o as the automated evaluator, measuring performance across 37 key aspects, including perceptual accuracy, linguistic clarity, and factual correctness. We evaluate 18 VLMs on MultiVerse, revealing that even the strongest models (e.g., GPT-4o) achieve only a 50% success rate in complex multi-turn conversations, highlighting the dataset's challenging nature. Notably, we find that providing full dialogue context significantly enhances performance for smaller or weaker models, emphasizing the importance of in-context learning. We believe MultiVerse is a landscape of evaluating multi-turn interaction abilities for VLMs.

MultiVerse: 대규모 시각 및 언어 모델 평가를 위한 다중 턴 대화 벤치마크

MultiVerse: A Multi-Turn Conversation Benchmark for Evaluating Large Vision and Language Models

초록

Support