lmgame-Bench: Quanto sono bravi i LLM a giocare?

lmgame-Bench: How Good are LLMs at Playing Games?

May 21, 2025

Autori: Lanxiang Hu, Mingjia Huo, Yuxuan Zhang, Haoyang Yu, Eric P. Xing, Ion Stoica, Tajana Rosing, Haojian Jin, Hao Zhang

cs.AI

Abstract

Giocare ai videogiochi richiede percezione, memoria e pianificazione, esattamente le capacità che si prevede che i moderni agenti basati su grandi modelli linguistici (LLM) padroneggino. Studiamo le principali sfide nell'utilizzo di videogiochi popolari per valutare i moderni LLM e scopriamo che inserire direttamente gli LLM nei giochi non costituisce una valutazione efficace, per tre motivi: percezione visiva fragile, sensibilità ai prompt e potenziale contaminazione dei dati. Introduciamo lmgame-Bench per trasformare i giochi in valutazioni affidabili. lmgame-Bench include una suite di giochi platform, puzzle e narrativi forniti attraverso un'API unificata in stile Gym e abbinati a impalcature leggere per la percezione e la memoria, ed è progettato per stabilizzare la varianza dei prompt e rimuovere la contaminazione. Su 13 modelli leader, dimostriamo che lmgame-Bench è impegnativo pur separando bene i modelli. L'analisi di correlazione mostra che ogni gioco esplora una combinazione unica di capacità spesso testate isolatamente altrove. Ancora più interessante, eseguire l'apprendimento per rinforzo su un singolo gioco di lmgame-Bench si trasferisce sia a giochi non visti che a compiti di pianificazione esterni. Il nostro codice di valutazione è disponibile all'indirizzo https://github.com/lmgame-org/GamingAgent/lmgame-bench.

English

Playing video games requires perception, memory, and planning, exactly the faculties modern large language model (LLM) agents are expected to master. We study the major challenges in using popular video games to evaluate modern LLMs and find that directly dropping LLMs into games cannot make an effective evaluation, for three reasons -- brittle vision perception, prompt sensitivity, and potential data contamination. We introduce lmgame-Bench to turn games into reliable evaluations. lmgame-Bench features a suite of platformer, puzzle, and narrative games delivered through a unified Gym-style API and paired with lightweight perception and memory scaffolds, and is designed to stabilize prompt variance and remove contamination. Across 13 leading models, we show lmgame-Bench is challenging while still separating models well. Correlation analysis shows that every game probes a unique blend of capabilities often tested in isolation elsewhere. More interestingly, performing reinforcement learning on a single game from lmgame-Bench transfers both to unseen games and to external planning tasks. Our evaluation code is available at https://github.com/lmgame-org/GamingAgent/lmgame-bench.