VideoGameBench: Können Vision-Sprach-Modelle beliebte Videospiele meistern?

VideoGameBench: Can Vision-Language Models complete popular video games?

May 23, 2025

Autoren: Alex L. Zhang, Thomas L. Griffiths, Karthik R. Narasimhan, Ofir Press

cs.AI

Zusammenfassung

Vision-Language-Modelle (VLMs) haben beeindruckende Ergebnisse bei Codierungs- und Mathematik-Benchmarks erzielt, die für Menschen herausfordernd sind. Dennoch bleibt ihre Fähigkeit, Aufgaben zu bewältigen, die für Menschen natürlich sind – wie Wahrnehmung, räumliche Navigation und Speicherverwaltung – weitgehend unerforscht. Echte Videospiele sind so gestaltet, dass sie für Menschen intuitiv zu erlernen und zu meistern sind, indem sie angeborene induktive Verzerrungen nutzen, was sie zu einem idealen Testfeld für die Bewertung solcher Fähigkeiten in VLMs macht. Zu diesem Zweck stellen wir VideoGameBench vor, einen Benchmark, der aus 10 beliebten Videospielen der 1990er Jahre besteht, mit denen VLMs in Echtzeit interagieren. VideoGameBench fordert Modelle heraus, ganze Spiele zu absolvieren, wobei sie nur auf rohe visuelle Eingaben und eine allgemeine Beschreibung der Ziele und Steuerungen zugreifen können. Dies stellt eine deutliche Abweichung von bestehenden Ansätzen dar, die auf spielspezifische Hilfestellungen und zusätzliche Informationen angewiesen sind. Drei der Spiele halten wir geheim, um Lösungen zu fördern, die auf unbekannte Umgebungen verallgemeinern können. Unsere Experimente zeigen, dass fortschrittliche Vision-Language-Modelle Schwierigkeiten haben, über den Anfang jedes Spiels hinauszukommen. Wir stellen fest, dass die Inferenzlatenz eine wesentliche Einschränkung fortschrittlicher Modelle im Echtzeit-Setting darstellt; daher führen wir VideoGameBench Lite ein, ein Setting, in dem das Spiel pausiert, während es auf die nächste Aktion des Sprachmodells wartet. Das beste Modell, Gemini 2.5 Pro, schafft nur 0,48 % von VideoGameBench und 1,6 % von VideoGameBench Lite. Wir hoffen, dass die Formalisierung der oben genannten menschlichen Fähigkeiten in diesem Benchmark Fortschritte in diesen Forschungsrichtungen anregt.

English

Vision-language models (VLMs) have achieved strong results on coding and math benchmarks that are challenging for humans, yet their ability to perform tasks that come naturally to humans--such as perception, spatial navigation, and memory management--remains understudied. Real video games are crafted to be intuitive for humans to learn and master by leveraging innate inductive biases, making them an ideal testbed for evaluating such capabilities in VLMs. To this end, we introduce VideoGameBench, a benchmark consisting of 10 popular video games from the 1990s that VLMs directly interact with in real-time. VideoGameBench challenges models to complete entire games with access to only raw visual inputs and a high-level description of objectives and controls, a significant departure from existing setups that rely on game-specific scaffolding and auxiliary information. We keep three of the games secret to encourage solutions that generalize to unseen environments. Our experiments show that frontier vision-language models struggle to progress beyond the beginning of each game. We find inference latency to be a major limitation of frontier models in the real-time setting; therefore, we introduce VideoGameBench Lite, a setting where the game pauses while waiting for the LM's next action. The best performing model, Gemini 2.5 Pro, completes only 0.48% of VideoGameBench and 1.6% of VideoGameBench Lite. We hope that the formalization of the human skills mentioned above into this benchmark motivates progress in these research directions.