VS-Bench: Evaluatie van VLMs voor Strategisch Redeneren en Besluitvorming in Multi-Agent Omgevingen

VS-Bench: Evaluating VLMs for Strategic Reasoning and Decision-Making in Multi-Agent Environments

June 3, 2025

Auteurs: Zelai Xu, Zhexuan Xu, Xiangmin Yi, Huining Yuan, Xinlei Chen, Yi Wu, Chao Yu, Yu Wang

cs.AI

Samenvatting

Recente ontwikkelingen in Vision Language Models (VLMs) hebben hun mogelijkheden uitgebreid naar interactieve agenttaken, maar bestaande benchmarks blijven beperkt tot single-agent of tekstuele omgevingen. In tegenstelling hiermee omvatten real-world scenario's vaak meerdere agents die interacteren binnen rijke visuele en linguïstische contexten, wat uitdagingen oplevert met zowel multimodale observaties als strategische interacties. Om deze kloof te overbruggen, introduceren we Visual Strategic Bench (VS-Bench), een multimodale benchmark die VLMs evalueert voor strategisch redeneren en besluitvorming in multi-agent omgevingen. VS-Bench bestaat uit acht visueel onderbouwde omgevingen die samenwerkende, competitieve en gemengde interacties omvatten, ontworpen om het vermogen van agents te beoordelen om toekomstige acties van anderen te voorspellen en te optimaliseren voor langetermijndoelen. We beschouwen twee complementaire evaluatiedimensies, waaronder offline evaluatie van strategisch redeneren door nauwkeurigheid van volgende-actievoorspellingen en online evaluatie van besluitvorming door genormaliseerde episode-opbrengst. Uitgebreide experimenten met veertien toonaangevende VLMs onthullen een significante kloof tussen huidige modellen en optimale prestaties, waarbij de beste modellen een voorspellingsnauwkeurigheid van 47,8% en een genormaliseerde opbrengst van 24,3% behalen. We voeren verder diepgaande analyses uit op multimodale observaties, testtijd-schaling, sociale gedragingen en foutgevallen van VLM-agents. Door de evaluatie te standaardiseren en de beperkingen van bestaande modellen te benadrukken, zien we VS-Bench als een fundament voor toekomstig onderzoek naar strategische multimodale agents. Code en data zijn beschikbaar op https://vs-bench.github.io.

English

Recent advancements in Vision Language Models (VLMs) have expanded their capabilities to interactive agent tasks, yet existing benchmarks remain limited to single-agent or text-only environments. In contrast, real-world scenarios often involve multiple agents interacting within rich visual and linguistic contexts, posing challenges with both multimodal observations and strategic interactions. To bridge this gap, we introduce Visual Strategic Bench (VS-Bench), a multimodal benchmark that evaluates VLMs for strategic reasoning and decision-making in multi-agent environments. VS-Bench comprises eight vision-grounded environments spanning cooperative, competitive, and mixed-motive interactions, designed to assess agents' ability to predict others' future moves and optimize for long-term objectives. We consider two complementary evaluation dimensions, including offline evaluation of strategic reasoning by next-action prediction accuracy and online evaluation of decision-making by normalized episode return. Extensive experiments of fourteen leading VLMs reveal a significant gap between current models and optimal performance, with the best models attaining 47.8% prediction accuracy and 24.3% normalized return. We further conduct in-depth analyses on multimodal observations, test-time scaling, social behaviors, and failure cases of VLM agents. By standardizing the evaluation and highlighting the limitations of existing models, we envision VS-Bench as a foundation for future research on strategic multimodal agents. Code and data are available at https://vs-bench.github.io.