lmgame-Bench: Hoe goed zijn LLMs in het spelen van games?

lmgame-Bench: How Good are LLMs at Playing Games?

May 21, 2025

Auteurs: Lanxiang Hu, Mingjia Huo, Yuxuan Zhang, Haoyang Yu, Eric P. Xing, Ion Stoica, Tajana Rosing, Haojian Jin, Hao Zhang

cs.AI

Samenvatting

Het spelen van videogames vereist perceptie, geheugen en planning, precies de vaardigheden waarvan wordt verwacht dat moderne grote taalmodellen (LLM) agents deze beheersen. We onderzoeken de belangrijkste uitdagingen bij het gebruik van populaire videogames om moderne LLM's te evalueren en ontdekken dat het direct inzetten van LLM's in games geen effectieve evaluatie oplevert, om drie redenen: kwetsbare visuele perceptie, gevoeligheid voor prompts en mogelijke datacontaminatie. We introduceren lmgame-Bench om games om te zetten in betrouwbare evaluaties. lmgame-Bench biedt een reeks platform-, puzzel- en verhalende games die worden aangeboden via een uniforme Gym-style API en worden gecombineerd met lichtgewicht perceptie- en geheugenscaffolds, en is ontworpen om promptvariaties te stabiliseren en contaminatie te verwijderen. Over 13 toonaangevende modellen laten we zien dat lmgame-Bench uitdagend is, maar toch goed onderscheid maakt tussen modellen. Correlatieanalyse toont aan dat elke game een unieke mix van vaardigheden onderzoekt die vaak elders geïsoleerd worden getest. Interessanter is dat het uitvoeren van reinforcement learning op een enkele game van lmgame-Bench zowel overdraagt naar onbekende games als naar externe plannings taken. Onze evaluatiecode is beschikbaar op https://github.com/lmgame-org/GamingAgent/lmgame-bench.

English

Playing video games requires perception, memory, and planning, exactly the faculties modern large language model (LLM) agents are expected to master. We study the major challenges in using popular video games to evaluate modern LLMs and find that directly dropping LLMs into games cannot make an effective evaluation, for three reasons -- brittle vision perception, prompt sensitivity, and potential data contamination. We introduce lmgame-Bench to turn games into reliable evaluations. lmgame-Bench features a suite of platformer, puzzle, and narrative games delivered through a unified Gym-style API and paired with lightweight perception and memory scaffolds, and is designed to stabilize prompt variance and remove contamination. Across 13 leading models, we show lmgame-Bench is challenging while still separating models well. Correlation analysis shows that every game probes a unique blend of capabilities often tested in isolation elsewhere. More interestingly, performing reinforcement learning on a single game from lmgame-Bench transfers both to unseen games and to external planning tasks. Our evaluation code is available at https://github.com/lmgame-org/GamingAgent/lmgame-bench.