MultiVerse: Бенчмарк для оценки многоходовых диалогов в крупных моделях, работающих с визуальными и текстовыми данными

MultiVerse: A Multi-Turn Conversation Benchmark for Evaluating Large Vision and Language Models

October 18, 2025

Авторы: Young-Jun Lee, Byung-Kwan Lee, Jianshu Zhang, Yechan Hwang, Byungsoo Ko, Han-Gyu Kim, Dongyu Yao, Xuankun Rong, Eojin Joo, Seung-Ho Han, Bowon Ko, Ho-Jin Choi

cs.AI

Аннотация

Модели, объединяющие зрение и язык (Vision-and-Language Models, VLMs), демонстрируют впечатляющие результаты на бенчмарках с одношаговыми задачами, однако реальные приложения часто требуют более сложных многошаговых диалогов. Существующие наборы данных для многошаговых диалогов (например, MMDU, ConvBench) лишь частично охватывают широту и глубину сценариев общения, с которыми сталкиваются пользователи. В данной работе мы представляем MultiVerse — новый бенчмарк для многошаговых диалогов, включающий 647 диалогов, каждый из которых в среднем состоит из четырех шагов, созданных на основе 12 популярных бенчмарков для оценки VLMs. С 484 задачами и 484 целями взаимодействия MultiVerse охватывает широкий спектр тем, от фактических знаний и восприятия до сложных задач на логическое мышление, таких как математика и программирование. Для обеспечения надежной оценки мы предлагаем метод оценки на основе контрольного списка, использующий GPT-4o в качестве автоматического оценщика, измеряющего производительность по 37 ключевым аспектам, включая точность восприятия, ясность языка и достоверность фактов. Мы оцениваем 18 VLMs на MultiVerse и обнаруживаем, что даже самые мощные модели (например, GPT-4o) достигают лишь 50% успеха в сложных многошаговых диалогах, что подчеркивает сложность набора данных. Примечательно, что предоставление полного контекста диалога значительно улучшает производительность для более слабых или компактных моделей, что подчеркивает важность обучения в контексте. Мы считаем, что MultiVerse представляет собой важный инструмент для оценки способностей VLMs к многошаговому взаимодействию.

English

Vision-and-Language Models (VLMs) have shown impressive capabilities on single-turn benchmarks, yet real-world applications often demand more intricate multi-turn dialogues. Existing multi-turn datasets (e.g, MMDU, ConvBench) only partially capture the breadth and depth of conversational scenarios encountered by users. In this work, we introduce MultiVerse, a novel multi-turn conversation benchmark featuring 647 dialogues - each averaging four turns - derived from a diverse set of 12 popular VLM evaluation benchmarks. With 484 tasks and 484 interaction goals, MultiVerse covers a wide range of topics, from factual knowledge and perception to advanced reasoning tasks such as mathematics and coding. To facilitate robust assessment, we propose a checklist-based evaluation method that leverages GPT-4o as the automated evaluator, measuring performance across 37 key aspects, including perceptual accuracy, linguistic clarity, and factual correctness. We evaluate 18 VLMs on MultiVerse, revealing that even the strongest models (e.g., GPT-4o) achieve only a 50% success rate in complex multi-turn conversations, highlighting the dataset's challenging nature. Notably, we find that providing full dialogue context significantly enhances performance for smaller or weaker models, emphasizing the importance of in-context learning. We believe MultiVerse is a landscape of evaluating multi-turn interaction abilities for VLMs.