VideoGameBench: Kunnen vision-language modellen populaire videogames voltooien?

VideoGameBench: Can Vision-Language Models complete popular video games?

May 23, 2025

Auteurs: Alex L. Zhang, Thomas L. Griffiths, Karthik R. Narasimhan, Ofir Press

cs.AI

Samenvatting

Vision-language models (VLMs) hebben sterke resultaten behaald op coderings- en wiskundige benchmarks die uitdagend zijn voor mensen, maar hun vermogen om taken uit te voeren die voor mensen van nature komen—zoals waarneming, ruimtelijke navigatie en geheugenbeheer—blijft onderbelicht. Echte videogames zijn ontworpen om intuïtief te zijn voor mensen om te leren en te beheersen door gebruik te maken van aangeboren inductieve biases, wat ze tot een ideale testomgeving maakt voor het evalueren van dergelijke capaciteiten in VLMs. Hiertoe introduceren we VideoGameBench, een benchmark bestaande uit 10 populaire videogames uit de jaren 90 waarmee VLMs direct in realtime interacteren. VideoGameBench daagt modellen uit om volledige games te voltooien met alleen toegang tot ruwe visuele inputs en een hoogwaardige beschrijving van doelstellingen en besturingen, een significante afwijking van bestaande setups die vertrouwen op game-specifieke ondersteuning en aanvullende informatie. We houden drie van de games geheim om oplossingen aan te moedigen die generaliseren naar onbekende omgevingen. Onze experimenten tonen aan dat toonaangevende vision-language modellen moeite hebben om verder te komen dan het begin van elk spel. We constateren dat inferentielatentie een grote beperking is van toonaangevende modellen in de realtime setting; daarom introduceren we VideoGameBench Lite, een setting waarin het spel pauzeert terwijl het wacht op de volgende actie van het LM. Het best presterende model, Gemini 2.5 Pro, voltooit slechts 0,48% van VideoGameBench en 1,6% van VideoGameBench Lite. We hopen dat de formalisering van de bovengenoemde menselijke vaardigheden in deze benchmark vooruitgang in deze onderzoeksrichtingen motiveert.

English

Vision-language models (VLMs) have achieved strong results on coding and math benchmarks that are challenging for humans, yet their ability to perform tasks that come naturally to humans--such as perception, spatial navigation, and memory management--remains understudied. Real video games are crafted to be intuitive for humans to learn and master by leveraging innate inductive biases, making them an ideal testbed for evaluating such capabilities in VLMs. To this end, we introduce VideoGameBench, a benchmark consisting of 10 popular video games from the 1990s that VLMs directly interact with in real-time. VideoGameBench challenges models to complete entire games with access to only raw visual inputs and a high-level description of objectives and controls, a significant departure from existing setups that rely on game-specific scaffolding and auxiliary information. We keep three of the games secret to encourage solutions that generalize to unseen environments. Our experiments show that frontier vision-language models struggle to progress beyond the beginning of each game. We find inference latency to be a major limitation of frontier models in the real-time setting; therefore, we introduce VideoGameBench Lite, a setting where the game pauses while waiting for the LM's next action. The best performing model, Gemini 2.5 Pro, completes only 0.48% of VideoGameBench and 1.6% of VideoGameBench Lite. We hope that the formalization of the human skills mentioned above into this benchmark motivates progress in these research directions.