lmgame-Bench: Насколько хорошо языковые модели справляются с играми?

lmgame-Bench: How Good are LLMs at Playing Games?

May 21, 2025

Авторы: Lanxiang Hu, Mingjia Huo, Yuxuan Zhang, Haoyang Yu, Eric P. Xing, Ion Stoica, Tajana Rosing, Haojian Jin, Hao Zhang

cs.AI

Аннотация

Игра в видеоигры требует восприятия, памяти и планирования — именно те способности, которыми должны овладеть современные агенты на основе больших языковых моделей (LLM). Мы изучаем основные проблемы использования популярных видеоигр для оценки современных LLM и обнаруживаем, что прямое внедрение LLM в игры не может обеспечить эффективную оценку по трем причинам: хрупкость визуального восприятия, чувствительность к промптам и потенциальное загрязнение данных. Мы представляем lmgame-Bench, чтобы превратить игры в надежные инструменты оценки. lmgame-Bench включает набор платформеров, головоломок и нарративных игр, предоставляемых через унифицированный API в стиле Gym, дополненных легковесными модулями восприятия и памяти, и предназначен для стабилизации вариативности промптов и устранения загрязнения данных. На примере 13 ведущих моделей мы показываем, что lmgame-Bench является сложным, но при этом хорошо дифференцирует модели. Анализ корреляций показывает, что каждая игра исследует уникальное сочетание способностей, которые часто тестируются изолированно в других условиях. Более интересно, что применение обучения с подкреплением на одной игре из lmgame-Bench переносится как на неизвестные игры, так и на внешние задачи планирования. Наш код для оценки доступен по адресу https://github.com/lmgame-org/GamingAgent/lmgame-bench.

English

Playing video games requires perception, memory, and planning, exactly the faculties modern large language model (LLM) agents are expected to master. We study the major challenges in using popular video games to evaluate modern LLMs and find that directly dropping LLMs into games cannot make an effective evaluation, for three reasons -- brittle vision perception, prompt sensitivity, and potential data contamination. We introduce lmgame-Bench to turn games into reliable evaluations. lmgame-Bench features a suite of platformer, puzzle, and narrative games delivered through a unified Gym-style API and paired with lightweight perception and memory scaffolds, and is designed to stabilize prompt variance and remove contamination. Across 13 leading models, we show lmgame-Bench is challenging while still separating models well. Correlation analysis shows that every game probes a unique blend of capabilities often tested in isolation elsewhere. More interestingly, performing reinforcement learning on a single game from lmgame-Bench transfers both to unseen games and to external planning tasks. Our evaluation code is available at https://github.com/lmgame-org/GamingAgent/lmgame-bench.