VideoGameBench: Способны ли модели «визуальный язык» проходить популярные видеоигры?

VideoGameBench: Can Vision-Language Models complete popular video games?

May 23, 2025

Авторы: Alex L. Zhang, Thomas L. Griffiths, Karthik R. Narasimhan, Ofir Press

cs.AI

Аннотация

Модели, объединяющие зрение и язык (Vision-Language Models, VLMs), демонстрируют высокие результаты на тестах по программированию и математике, которые являются сложными для людей, однако их способность выполнять задачи, естественные для человека, такие как восприятие, пространственная навигация и управление памятью, остается недостаточно изученной. Настоящие видеоигры создаются таким образом, чтобы быть интуитивно понятными для обучения и освоения человеком, используя врожденные индуктивные предубеждения, что делает их идеальной платформой для оценки таких способностей в VLMs. В связи с этим мы представляем VideoGameBench — эталонный набор, состоящий из 10 популярных видеоигр 1990-х годов, с которыми VLMs взаимодействуют в реальном времени. VideoGameBench ставит перед моделями задачу пройти целые игры, имея доступ только к необработанным визуальным данным и высокоуровневому описанию целей и управления, что значительно отличается от существующих подходов, которые полагаются на специфические для игры структуры и вспомогательную информацию. Три игры остаются скрытыми, чтобы стимулировать разработку решений, обобщаемых на неизвестные среды. Наши эксперименты показывают, что передовые модели, объединяющие зрение и язык, с трудом продвигаются дальше начальных этапов каждой игры. Мы выявили, что задержка вывода является основным ограничением передовых моделей в условиях реального времени; поэтому мы вводим VideoGameBench Lite — режим, в котором игра приостанавливается в ожидании следующего действия языковой модели. Лучшая модель, Gemini 2.5 Pro, завершает только 0,48% VideoGameBench и 1,6% VideoGameBench Lite. Мы надеемся, что формализация упомянутых выше человеческих навыков в рамках этого эталонного набора будет способствовать прогрессу в данных направлениях исследований.

English

Vision-language models (VLMs) have achieved strong results on coding and math benchmarks that are challenging for humans, yet their ability to perform tasks that come naturally to humans--such as perception, spatial navigation, and memory management--remains understudied. Real video games are crafted to be intuitive for humans to learn and master by leveraging innate inductive biases, making them an ideal testbed for evaluating such capabilities in VLMs. To this end, we introduce VideoGameBench, a benchmark consisting of 10 popular video games from the 1990s that VLMs directly interact with in real-time. VideoGameBench challenges models to complete entire games with access to only raw visual inputs and a high-level description of objectives and controls, a significant departure from existing setups that rely on game-specific scaffolding and auxiliary information. We keep three of the games secret to encourage solutions that generalize to unseen environments. Our experiments show that frontier vision-language models struggle to progress beyond the beginning of each game. We find inference latency to be a major limitation of frontier models in the real-time setting; therefore, we introduce VideoGameBench Lite, a setting where the game pauses while waiting for the LM's next action. The best performing model, Gemini 2.5 Pro, completes only 0.48% of VideoGameBench and 1.6% of VideoGameBench Lite. We hope that the formalization of the human skills mentioned above into this benchmark motivates progress in these research directions.