GBQA: Ein Spiel-Benchmark zur Bewertung von LLMs als Qualitätssicherungsingenieure
GBQA: A Game Benchmark for Evaluating LLMs as Quality Assurance Engineers
April 3, 2026
Autoren: Shufan Jiang, Chios Chen, Zhiyang Chen
cs.AI
Zusammenfassung
Die autonome Entdeckung von Softwarefehlern stellt nach wie vor eine große Herausforderung in der modernen Softwareentwicklung dar. Im Vergleich zur Code-Generierung erschwert die Komplexität dynamischer Laufzeitumgebungen die Fehlererkennung für große Sprachmodelle (LLMs) erheblich. In diesem Beitrag betrachten wir die Spieleentwicklung als repräsentative Domäne und führen den Game Benchmark for Quality Assurance (GBQA) ein – einen Benchmark, der 30 Spiele und 124 von Menschen verifizierte Fehler über drei Schwierigkeitsgrade hinweg umfasst, um zu evaluieren, ob LLMs Softwarefehler autonom erkennen können. Der Benchmark wird mit einem Multi-Agenten-System konstruiert, das Spiele entwickelt und Fehler auf skalierbare Weise einfügt, wobei menschliche Experten in den Prozess eingebunden sind, um die Korrektheit zu gewährleisten. Darüber hinaus stellen wir einen interaktiven Basis-Agenten bereit, der mit einer Multi-Round-ReAct-Schleife und einem Gedächtnismechanismus ausgestattet ist und so eine langfristige Exploration von Spielumgebungen zur Fehlererkennung über verschiedene LLMs hinweg ermöglicht. Umfangreiche Experimente mit modernsten LLMs zeigen, dass die autonome Fehlerentdeckung nach wie vor äußerst anspruchsvoll ist: Das leistungsstärkste Modell, Claude-4.6-Opus im Denkmodus, identifiziert lediglich 48,39 % der verifizierten Fehler. Wir sind der Überzeugung, dass GBQA eine angemessene Testumgebung und Bewertungsgrundlage bietet und dass weitere Fortschritte dabei helfen werden, die Lücke in der autonomen Softwareentwicklung zu schließen.
English
The autonomous discovery of bugs remains a significant challenge in modern software development. Compared to code generation, the complexity of dynamic runtime environments makes bug discovery considerably harder for large language models (LLMs). In this paper, we take game development as a representative domain and introduce the Game Benchmark for Quality Assurance (GBQA), a benchmark containing 30 games and 124 human-verified bugs across three difficulty levels, to evaluate whether LLMs can autonomously detect software bugs. The benchmark is constructed using a multi-agent system that develops games and injects bugs in a scalable manner, with human experts in the loop to ensure correctness. Moreover, we provide a baseline interactive agent equipped with a multi-round ReAct loop and a memory mechanism, enabling long-horizon exploration of game environments for bug detection across different LLMs. Extensive experiments on frontier LLMs demonstrate that autonomous bug discovery remains highly challenging: the best-performing model, Claude-4.6-Opus in thinking mode, identifies only 48.39% of the verified bugs. We believe GBQA provides an adequate testbed and evaluation criterion, and that further progress on it will help close the gap in autonomous software engineering.