VS-Bench: Bewertung von VLMs für strategisches Denken und Entscheidungsfindung in Multi-Agenten-Umgebungen

VS-Bench: Evaluating VLMs for Strategic Reasoning and Decision-Making in Multi-Agent Environments

June 3, 2025

Autoren: Zelai Xu, Zhexuan Xu, Xiangmin Yi, Huining Yuan, Xinlei Chen, Yi Wu, Chao Yu, Yu Wang

cs.AI

Zusammenfassung

Jüngste Fortschritte in Vision-Language-Modellen (VLMs) haben deren Fähigkeiten auf interaktive Agentenaufgaben erweitert, doch bestehende Benchmarks beschränken sich weiterhin auf Einzelagenten- oder textbasierte Umgebungen. Im Gegensatz dazu umfassen reale Szenarien oft mehrere Agenten, die in reichhaltigen visuellen und linguistischen Kontexten interagieren, was Herausforderungen sowohl bei multimodalen Beobachtungen als auch bei strategischen Interaktionen mit sich bringt. Um diese Lücke zu schließen, führen wir Visual Strategic Bench (VS-Bench) ein, einen multimodalen Benchmark, der VLMs hinsichtlich strategischer Argumentation und Entscheidungsfindung in Multi-Agenten-Umgebungen bewertet. VS-Bench umfasst acht visuell basierte Umgebungen, die kooperative, kompetitive und gemischt motivierte Interaktionen abdecken und darauf ausgelegt sind, die Fähigkeit der Agenten zu bewerten, zukünftige Handlungen anderer vorherzusagen und langfristige Ziele zu optimieren. Wir betrachten zwei komplementäre Bewertungsdimensionen, darunter die Offline-Bewertung der strategischen Argumentation anhand der Genauigkeit der nächsten Handlungsvorhersage und die Online-Bewertung der Entscheidungsfindung anhand des normalisierten Episodenergebnisses. Umfangreiche Experimente mit vierzehn führenden VLMs zeigen eine erhebliche Lücke zwischen den aktuellen Modellen und der optimalen Leistung, wobei die besten Modelle eine Vorhersagegenauigkeit von 47,8 % und einen normalisierten Ertrag von 24,3 % erreichen. Wir führen weiterhin vertiefte Analysen zu multimodalen Beobachtungen, Skalierung zur Testzeit, sozialen Verhaltensweisen und Fehlerfällen von VLM-Agenten durch. Durch die Standardisierung der Bewertung und die Hervorhebung der Grenzen bestehender Modelle sehen wir VS-Bench als Grundlage für zukünftige Forschung zu strategischen multimodalen Agenten. Code und Daten sind unter https://vs-bench.github.io verfügbar.

English

Recent advancements in Vision Language Models (VLMs) have expanded their capabilities to interactive agent tasks, yet existing benchmarks remain limited to single-agent or text-only environments. In contrast, real-world scenarios often involve multiple agents interacting within rich visual and linguistic contexts, posing challenges with both multimodal observations and strategic interactions. To bridge this gap, we introduce Visual Strategic Bench (VS-Bench), a multimodal benchmark that evaluates VLMs for strategic reasoning and decision-making in multi-agent environments. VS-Bench comprises eight vision-grounded environments spanning cooperative, competitive, and mixed-motive interactions, designed to assess agents' ability to predict others' future moves and optimize for long-term objectives. We consider two complementary evaluation dimensions, including offline evaluation of strategic reasoning by next-action prediction accuracy and online evaluation of decision-making by normalized episode return. Extensive experiments of fourteen leading VLMs reveal a significant gap between current models and optimal performance, with the best models attaining 47.8% prediction accuracy and 24.3% normalized return. We further conduct in-depth analyses on multimodal observations, test-time scaling, social behaviors, and failure cases of VLM agents. By standardizing the evaluation and highlighting the limitations of existing models, we envision VS-Bench as a foundation for future research on strategic multimodal agents. Code and data are available at https://vs-bench.github.io.