VS-Bench: Оценка визуально-языковых моделей для стратегического мышления и принятия решений в многоагентных средах

VS-Bench: Evaluating VLMs for Strategic Reasoning and Decision-Making in Multi-Agent Environments

June 3, 2025

Авторы: Zelai Xu, Zhexuan Xu, Xiangmin Yi, Huining Yuan, Xinlei Chen, Yi Wu, Chao Yu, Yu Wang

cs.AI

Аннотация

Последние достижения в области визуально-языковых моделей (VLMs) расширили их возможности для задач интерактивных агентов, однако существующие тестовые наборы остаются ограниченными однозадачными или текстовыми средами. В реальных сценариях, напротив, часто участвуют несколько агентов, взаимодействующих в богатых визуальных и лингвистических контекстах, что создает сложности как с мультимодальными наблюдениями, так и со стратегическими взаимодействиями. Чтобы устранить этот разрыв, мы представляем Visual Strategic Bench (VS-Bench) — мультимодальный тестовый набор, который оценивает VLMs на способность к стратегическому мышлению и принятию решений в средах с несколькими агентами. VS-Bench включает восемь визуально-обоснованных сред, охватывающих кооперативные, конкурентные и смешанные взаимодействия, предназначенных для оценки способности агентов предсказывать будущие действия других и оптимизировать долгосрочные цели. Мы рассматриваем два взаимодополняющих измерения оценки: оффлайн-оценку стратегического мышления через точность предсказания следующего действия и онлайн-оценку принятия решений через нормализованный возврат эпизода. Экстенсивные эксперименты с четырнадцатью ведущими VLMs выявили значительный разрыв между текущими моделями и оптимальной производительностью, при этом лучшие модели достигают 47,8% точности предсказания и 24,3% нормализованного возврата. Мы также проводим углубленный анализ мультимодальных наблюдений, масштабирования на этапе тестирования, социального поведения и случаев неудач агентов VLM. Стандартизируя оценку и подчеркивая ограничения существующих моделей, мы видим в VS-Bench основу для будущих исследований стратегических мультимодальных агентов. Код и данные доступны по адресу https://vs-bench.github.io.

English

Recent advancements in Vision Language Models (VLMs) have expanded their capabilities to interactive agent tasks, yet existing benchmarks remain limited to single-agent or text-only environments. In contrast, real-world scenarios often involve multiple agents interacting within rich visual and linguistic contexts, posing challenges with both multimodal observations and strategic interactions. To bridge this gap, we introduce Visual Strategic Bench (VS-Bench), a multimodal benchmark that evaluates VLMs for strategic reasoning and decision-making in multi-agent environments. VS-Bench comprises eight vision-grounded environments spanning cooperative, competitive, and mixed-motive interactions, designed to assess agents' ability to predict others' future moves and optimize for long-term objectives. We consider two complementary evaluation dimensions, including offline evaluation of strategic reasoning by next-action prediction accuracy and online evaluation of decision-making by normalized episode return. Extensive experiments of fourteen leading VLMs reveal a significant gap between current models and optimal performance, with the best models attaining 47.8% prediction accuracy and 24.3% normalized return. We further conduct in-depth analyses on multimodal observations, test-time scaling, social behaviors, and failure cases of VLM agents. By standardizing the evaluation and highlighting the limitations of existing models, we envision VS-Bench as a foundation for future research on strategic multimodal agents. Code and data are available at https://vs-bench.github.io.