VideoGameBench: Os modelos de visão e linguagem conseguem completar jogos populares de videogame?

VideoGameBench: Can Vision-Language Models complete popular video games?

May 23, 2025

Autores: Alex L. Zhang, Thomas L. Griffiths, Karthik R. Narasimhan, Ofir Press

cs.AI

Resumo

Modelos visão-linguagem (VLMs) têm alcançado resultados robustos em benchmarks de codificação e matemática que são desafiadores para humanos, mas sua capacidade de realizar tarefas que são naturais para humanos—como percepção, navegação espacial e gerenciamento de memória—permanece pouco estudada. Jogos de vídeo reais são projetados para serem intuitivos para humanos aprenderem e dominarem, aproveitando vieses indutivos inatos, tornando-os um ambiente ideal para avaliar tais capacidades em VLMs. Para isso, apresentamos o VideoGameBench, um benchmark composto por 10 jogos de vídeo populares da década de 1990 com os quais os VLMs interagem diretamente em tempo real. O VideoGameBench desafia os modelos a completar jogos inteiros com acesso apenas a entradas visuais brutas e uma descrição de alto nível dos objetivos e controles, uma abordagem significativamente diferente das configurações existentes que dependem de estruturas específicas do jogo e informações auxiliares. Mantemos três dos jogos em segredo para incentivar soluções que generalizem para ambientes não vistos. Nossos experimentos mostram que os modelos de ponta visão-linguagem têm dificuldade em progredir além do início de cada jogo. Identificamos que a latência de inferência é uma grande limitação dos modelos de ponta no cenário em tempo real; portanto, introduzimos o VideoGameBench Lite, uma configuração em que o jogo pausa enquanto espera a próxima ação do modelo de linguagem. O modelo com melhor desempenho, o Gemini 2.5 Pro, completa apenas 0,48% do VideoGameBench e 1,6% do VideoGameBench Lite. Esperamos que a formalização das habilidades humanas mencionadas neste benchmark motive avanços nessas direções de pesquisa.

English

Vision-language models (VLMs) have achieved strong results on coding and math benchmarks that are challenging for humans, yet their ability to perform tasks that come naturally to humans--such as perception, spatial navigation, and memory management--remains understudied. Real video games are crafted to be intuitive for humans to learn and master by leveraging innate inductive biases, making them an ideal testbed for evaluating such capabilities in VLMs. To this end, we introduce VideoGameBench, a benchmark consisting of 10 popular video games from the 1990s that VLMs directly interact with in real-time. VideoGameBench challenges models to complete entire games with access to only raw visual inputs and a high-level description of objectives and controls, a significant departure from existing setups that rely on game-specific scaffolding and auxiliary information. We keep three of the games secret to encourage solutions that generalize to unseen environments. Our experiments show that frontier vision-language models struggle to progress beyond the beginning of each game. We find inference latency to be a major limitation of frontier models in the real-time setting; therefore, we introduce VideoGameBench Lite, a setting where the game pauses while waiting for the LM's next action. The best performing model, Gemini 2.5 Pro, completes only 0.48% of VideoGameBench and 1.6% of VideoGameBench Lite. We hope that the formalization of the human skills mentioned above into this benchmark motivates progress in these research directions.