GBQA : Un Benchmark de Jeu pour Évaluer les LLM en Tant qu'Ingénieurs en Assurance Qualité
GBQA: A Game Benchmark for Evaluating LLMs as Quality Assurance Engineers
April 3, 2026
Auteurs: Shufan Jiang, Chios Chen, Zhiyang Chen
cs.AI
Résumé
La découverte autonome de bugs reste un défi majeur dans le développement logiciel moderne. Comparée à la génération de code, la complexité des environnements d'exécution dynamiques rend la découverte de bugs considérablement plus difficile pour les grands modèles de langage (LLM). Dans cet article, nous prenons le développement de jeux comme domaine représentatif et présentons le Benchmark de Jeux pour l'Assurance Qualité (GBQA), un benchmark contenant 30 jeux et 124 bugs vérifiés par des humains sur trois niveaux de difficulté, pour évaluer si les LLM peuvent détecter de manière autonome les bugs logiciels. Le benchmark est construit à l'aide d'un système multi-agents qui développe des jeux et injecte des bugs de manière scalable, avec des experts humains dans la boucle pour garantir l'exactitude. De plus, nous fournissons un agent interactif de base équipé d'une boucle ReAct multi-tours et d'un mécanisme de mémoire, permettant une exploration à long terme des environnements de jeu pour la détection de bugs sur différents LLM. Des expériences approfondies sur les LLM de pointe démontrent que la découverte autonome de bugs reste très difficile : le modèle le plus performant, Claude-4.6-Opus en mode pensée, n'identifie que 48,39 % des bugs vérifiés. Nous pensons que GBQA fournit un banc d'essai et un critère d'évaluation adéquats, et que de nouveaux progrès permettront de combler l'écart dans l'ingénierie logicielle autonome.
English
The autonomous discovery of bugs remains a significant challenge in modern software development. Compared to code generation, the complexity of dynamic runtime environments makes bug discovery considerably harder for large language models (LLMs). In this paper, we take game development as a representative domain and introduce the Game Benchmark for Quality Assurance (GBQA), a benchmark containing 30 games and 124 human-verified bugs across three difficulty levels, to evaluate whether LLMs can autonomously detect software bugs. The benchmark is constructed using a multi-agent system that develops games and injects bugs in a scalable manner, with human experts in the loop to ensure correctness. Moreover, we provide a baseline interactive agent equipped with a multi-round ReAct loop and a memory mechanism, enabling long-horizon exploration of game environments for bug detection across different LLMs. Extensive experiments on frontier LLMs demonstrate that autonomous bug discovery remains highly challenging: the best-performing model, Claude-4.6-Opus in thinking mode, identifies only 48.39% of the verified bugs. We believe GBQA provides an adequate testbed and evaluation criterion, and that further progress on it will help close the gap in autonomous software engineering.