VS-Bench: Valutazione dei Modelli Linguistici Visivi per il Ragionamento Strategico e il Processo Decisionale in Ambienti Multi-Agente

VS-Bench: Evaluating VLMs for Strategic Reasoning and Decision-Making in Multi-Agent Environments

June 3, 2025

Autori: Zelai Xu, Zhexuan Xu, Xiangmin Yi, Huining Yuan, Xinlei Chen, Yi Wu, Chao Yu, Yu Wang

cs.AI

Abstract

I recenti progressi nei Modelli di Linguaggio Visivo (VLMs) hanno ampliato le loro capacità verso compiti di agenti interattivi, tuttavia i benchmark esistenti rimangono limitati a ambienti a singolo agente o basati esclusivamente su testo. Al contrario, gli scenari del mondo reale spesso coinvolgono più agenti che interagiscono in contesti visivi e linguistici ricchi, presentando sfide sia con osservazioni multimodali che con interazioni strategiche. Per colmare questa lacuna, introduciamo Visual Strategic Bench (VS-Bench), un benchmark multimodale che valuta i VLMs per il ragionamento strategico e il processo decisionale in ambienti multi-agente. VS-Bench comprende otto ambienti basati sulla visione che abbracciano interazioni cooperative, competitive e a motivazione mista, progettati per valutare la capacità degli agenti di prevedere le mosse future degli altri e ottimizzare per obiettivi a lungo termine. Consideriamo due dimensioni di valutazione complementari, tra cui la valutazione offline del ragionamento strategico attraverso l'accuratezza nella previsione della prossima azione e la valutazione online del processo decisionale attraverso il rendimento normalizzato per episodio. Esperimenti estesi su quattordici VLMs leader rivelano un divario significativo tra i modelli attuali e le prestazioni ottimali, con i migliori modelli che raggiungono un'accuratezza di previsione del 47,8% e un rendimento normalizzato del 24,3%. Condividiamo inoltre analisi approfondite sulle osservazioni multimodali, il ridimensionamento al momento del test, i comportamenti sociali e i casi di fallimento degli agenti VLM. Standardizzando la valutazione e evidenziando i limiti dei modelli esistenti, immaginiamo VS-Bench come una base per la ricerca futura sugli agenti multimodali strategici. Codice e dati sono disponibili su https://vs-bench.github.io.

English

Recent advancements in Vision Language Models (VLMs) have expanded their capabilities to interactive agent tasks, yet existing benchmarks remain limited to single-agent or text-only environments. In contrast, real-world scenarios often involve multiple agents interacting within rich visual and linguistic contexts, posing challenges with both multimodal observations and strategic interactions. To bridge this gap, we introduce Visual Strategic Bench (VS-Bench), a multimodal benchmark that evaluates VLMs for strategic reasoning and decision-making in multi-agent environments. VS-Bench comprises eight vision-grounded environments spanning cooperative, competitive, and mixed-motive interactions, designed to assess agents' ability to predict others' future moves and optimize for long-term objectives. We consider two complementary evaluation dimensions, including offline evaluation of strategic reasoning by next-action prediction accuracy and online evaluation of decision-making by normalized episode return. Extensive experiments of fourteen leading VLMs reveal a significant gap between current models and optimal performance, with the best models attaining 47.8% prediction accuracy and 24.3% normalized return. We further conduct in-depth analyses on multimodal observations, test-time scaling, social behaviors, and failure cases of VLM agents. By standardizing the evaluation and highlighting the limitations of existing models, we envision VS-Bench as a foundation for future research on strategic multimodal agents. Code and data are available at https://vs-bench.github.io.