GameWorld: Auf dem Weg zu standardisierter und verifizierbarer Evaluation multimodaler Spielagenten

GameWorld: Towards Standardized and Verifiable Evaluation of Multimodal Game Agents

April 8, 2026

Autoren: Mingyu Ouyang, Siyuan Hu, Kevin Qinghong Lin, Hwee Tou Ng, Mike Zheng Shou

cs.AI

Zusammenfassung

Auf dem Weg zu einem verkörperlichten Generalisten für reale Interaktionen leiden Multimodal Large Language Model (MLLM)-Agenten nach wie vor unter problematischer Latenz, spärlichem Feedback und irreversiblen Fehlern. Videospiele bieten eine ideale Testumgebung mit reichhaltigen visuellen Beobachtungen und geschlossenen Interaktionsschleifen, die feinkörnige Wahrnehmung, langfristige Planung und präzise Steuerung erfordern. Die systematische Evaluierung dieser Fähigkeiten wird jedoch derzeit durch heterogene Aktionsschnittstellen und heuristische Verifikation behindert. Zu diesem Zweck stellen wir GameWorld vor, einen Benchmark, der für eine standardisierte und verifizierbare Bewertung von MLLMs als generalistische Spielagenten in Browserumgebungen konzipiert ist. Es werden zwei Arten von Spielagenten-Schnittstellen untersucht: (i) Computer-Use-Agenten, die direkt Tastatur- und Maussteuerungsbefehle emittieren, und (ii) generalistische multimodale Agenten, die in einem semantischen Aktionsraum über deterministisches Semantic Action Parsing agieren. GameWorld umfasst 34 verschiedene Spiele und 170 Aufgaben, die jeweils mit zustandsverifizierbaren Metriken für eine ergebnisbasierte Evaluierung gepaart sind. Die Ergebnisse über 18 Modell-Schnittstellen-Paare hinweg deuten darauf hin, dass selbst der leistungsstärkste Agent weit davon entfernt ist, menschliche Fähigkeiten in Videospielen zu erreichen. Umfangreiche Experimente mit wiederholten kompletten Benchmark-Durchläufen demonstrieren die Robustheit des Benchmarks, während weitere Untersuchungen zu Echtzeit-Interaktion, Kontext-Gedächtnis-Empfindlichkeit und Aktionsvalidität weitere Herausforderungen für Spielagenten aufzeigen. Indem GameWorld einen standardisierten, verifizierbaren und reproduzierbaren Evaluierungsrahmen bietet, legt es eine robuste Grundlage für die Weiterentwicklung der Forschung zu multimodalen Spielagenten und darüber hinaus. Die Projektseite ist unter https://gameworld-bench.github.io zu finden.

English

Towards an embodied generalist for real-world interaction, Multimodal Large Language Model (MLLM) agents still suffer from challenging latency, sparse feedback, and irreversible mistakes. Video games offer an ideal testbed with rich visual observations and closed-loop interaction, demanding fine-grained perception, long-horizon planning, and precise control. However, systematically evaluating these capabilities is currently hindered by heterogeneous action interfaces and heuristic verification. To this end, we introduce GameWorld, a benchmark designed for standardized and verifiable evaluation of MLLMs as generalist game agents in browser environments. Two game agent interfaces are studied: (i) computer-use agents that directly emit keyboard and mouse controls, and (ii) generalist multimodal agents that act in a semantic action space via deterministic Semantic Action Parsing. GameWorld contains 34 diverse games and 170 tasks, each paired with state-verifiable metrics for outcome-based evaluation. The results across 18 model-interface pairs suggest that even the best performing agent is far from achieving human capabilities on video games. Extensive experiments of repeated full-benchmark reruns demonstrate the robustness of the benchmark, while further studies on real-time interaction, context-memory sensitivity, and action validity expose more challenges ahead for game agents. Together, by offering a standardized, verifiable, and reproducible evaluation framework, GameWorld lays a robust foundation for advancing research on multimodal game agents and beyond. The project page is at https://gameworld-bench.github.io.