GBQA: Een Spelbenchmark voor het Evalueren van LLM's als Kwaliteitsborgingsingenieurs
GBQA: A Game Benchmark for Evaluating LLMs as Quality Assurance Engineers
April 3, 2026
Auteurs: Shufan Jiang, Chios Chen, Zhiyang Chen
cs.AI
Samenvatting
De autonome ontdekking van bugs blijft een grote uitdaging in moderne softwareontwikkeling. In vergelijking met codegeneratie maakt de complexiteit van dynamische runtime-omgevingen bugdetectie aanzienlijk moeilijker voor grote taalmodellen (LLM's). In dit artikel nemen we spelontwikkeling als representatief domein en introduceren we de Game Benchmark voor Kwaliteitsborging (GBQA), een benchmark met 30 spellen en 124 door mensen geverifieerde bugs over drie moeilijkheidsniveaus, om te evalueren of LLM's softwarebugs autonoom kunnen detecteren. De benchmark is geconstrueerd met een multi-agent systeem dat op schaalbare wijze spellen ontwikkelt en bugs injecteert, waarbij menselijke experts betrokken zijn om de correctheid te waarborgen. Bovendien bieden we een baseline interactieve agent uitgerust met een multi-round ReAct-lus en een geheugenmechanisme, die langetermijnverkenning van spelomgevingen mogelijk maakt voor bugdetectie over verschillende LLM's. Uitgebreide experimenten met toonaangevende LLM's tonen aan dat autonome bugdetectie zeer uitdagend blijft: het best presterende model, Claude-4.6-Opus in denkmodus, identificeert slechts 48,39% van de geverifieerde bugs. Wij geloven dat GBQA een adequate testomgeving en evaluatiecriterium biedt, en dat verdere vooruitgang hierop zal helpen de kloof in autonome software-engineering te dichten.
English
The autonomous discovery of bugs remains a significant challenge in modern software development. Compared to code generation, the complexity of dynamic runtime environments makes bug discovery considerably harder for large language models (LLMs). In this paper, we take game development as a representative domain and introduce the Game Benchmark for Quality Assurance (GBQA), a benchmark containing 30 games and 124 human-verified bugs across three difficulty levels, to evaluate whether LLMs can autonomously detect software bugs. The benchmark is constructed using a multi-agent system that develops games and injects bugs in a scalable manner, with human experts in the loop to ensure correctness. Moreover, we provide a baseline interactive agent equipped with a multi-round ReAct loop and a memory mechanism, enabling long-horizon exploration of game environments for bug detection across different LLMs. Extensive experiments on frontier LLMs demonstrate that autonomous bug discovery remains highly challenging: the best-performing model, Claude-4.6-Opus in thinking mode, identifies only 48.39% of the verified bugs. We believe GBQA provides an adequate testbed and evaluation criterion, and that further progress on it will help close the gap in autonomous software engineering.