lmgame-Bench: Quão Boas são as LLMs em Jogar Jogos?

lmgame-Bench: How Good are LLMs at Playing Games?

May 21, 2025

Autores: Lanxiang Hu, Mingjia Huo, Yuxuan Zhang, Haoyang Yu, Eric P. Xing, Ion Stoica, Tajana Rosing, Haojian Jin, Hao Zhang

cs.AI

Resumo

Jogar videogames exige percepção, memória e planejamento, exatamente as habilidades que os agentes modernos de modelos de linguagem de grande escala (LLMs) devem dominar. Estudamos os principais desafios em usar videogames populares para avaliar LLMs modernos e descobrimos que inserir LLMs diretamente em jogos não pode resultar em uma avaliação eficaz, por três razões: percepção visual frágil, sensibilidade a prompts e possível contaminação de dados. Introduzimos o lmgame-Bench para transformar jogos em avaliações confiáveis. O lmgame-Bench apresenta um conjunto de jogos de plataforma, quebra-cabeças e narrativos entregues por meio de uma API unificada no estilo Gym e emparelhados com estruturas leves de percepção e memória, sendo projetado para estabilizar a variação de prompts e remover contaminação. Em 13 modelos líderes, mostramos que o lmgame-Bench é desafiador, mas ainda assim separa bem os modelos. A análise de correlação mostra que cada jogo explora uma combinação única de habilidades frequentemente testadas isoladamente em outros contextos. Mais interessante ainda, realizar aprendizado por reforço em um único jogo do lmgame-Bench se transfere tanto para jogos não vistos quanto para tarefas externas de planejamento. Nosso código de avaliação está disponível em https://github.com/lmgame-org/GamingAgent/lmgame-bench.

English

Playing video games requires perception, memory, and planning, exactly the faculties modern large language model (LLM) agents are expected to master. We study the major challenges in using popular video games to evaluate modern LLMs and find that directly dropping LLMs into games cannot make an effective evaluation, for three reasons -- brittle vision perception, prompt sensitivity, and potential data contamination. We introduce lmgame-Bench to turn games into reliable evaluations. lmgame-Bench features a suite of platformer, puzzle, and narrative games delivered through a unified Gym-style API and paired with lightweight perception and memory scaffolds, and is designed to stabilize prompt variance and remove contamination. Across 13 leading models, we show lmgame-Bench is challenging while still separating models well. Correlation analysis shows that every game probes a unique blend of capabilities often tested in isolation elsewhere. More interestingly, performing reinforcement learning on a single game from lmgame-Bench transfers both to unseen games and to external planning tasks. Our evaluation code is available at https://github.com/lmgame-org/GamingAgent/lmgame-bench.