lmgame-Bench: ¿Qué tan buenos son los LLM para jugar juegos?

lmgame-Bench: How Good are LLMs at Playing Games?

May 21, 2025

Autores: Lanxiang Hu, Mingjia Huo, Yuxuan Zhang, Haoyang Yu, Eric P. Xing, Ion Stoica, Tajana Rosing, Haojian Jin, Hao Zhang

cs.AI

Resumen

Jugar videojuegos requiere percepción, memoria y planificación, exactamente las facultades que se espera que dominen los agentes modernos de modelos de lenguaje de gran escala (LLM, por sus siglas en inglés). Estudiamos los principales desafíos en el uso de videojuegos populares para evaluar los LLM modernos y encontramos que introducir directamente los LLM en los juegos no permite una evaluación efectiva, por tres razones: percepción visual frágil, sensibilidad a los prompts y posible contaminación de datos. Introducimos lmgame-Bench para convertir los juegos en evaluaciones confiables. lmgame-Bench incluye un conjunto de juegos de plataformas, puzles y narrativos entregados a través de una API unificada estilo Gym, junto con andamiajes ligeros de percepción y memoria, y está diseñado para estabilizar la variación en los prompts y eliminar la contaminación. En 13 modelos líderes, demostramos que lmgame-Bench es desafiante, pero aún así distingue bien los modelos. El análisis de correlación muestra que cada juego explora una combinación única de capacidades que a menudo se prueban de forma aislada en otros contextos. Más interesante aún, realizar aprendizaje por refuerzo en un solo juego de lmgame-Bench se transfiere tanto a juegos no vistos como a tareas de planificación externas. Nuestro código de evaluación está disponible en https://github.com/lmgame-org/GamingAgent/lmgame-bench.

English

Playing video games requires perception, memory, and planning, exactly the faculties modern large language model (LLM) agents are expected to master. We study the major challenges in using popular video games to evaluate modern LLMs and find that directly dropping LLMs into games cannot make an effective evaluation, for three reasons -- brittle vision perception, prompt sensitivity, and potential data contamination. We introduce lmgame-Bench to turn games into reliable evaluations. lmgame-Bench features a suite of platformer, puzzle, and narrative games delivered through a unified Gym-style API and paired with lightweight perception and memory scaffolds, and is designed to stabilize prompt variance and remove contamination. Across 13 leading models, we show lmgame-Bench is challenging while still separating models well. Correlation analysis shows that every game probes a unique blend of capabilities often tested in isolation elsewhere. More interestingly, performing reinforcement learning on a single game from lmgame-Bench transfers both to unseen games and to external planning tasks. Our evaluation code is available at https://github.com/lmgame-org/GamingAgent/lmgame-bench.