GBQA: Um Benchmark de Jogos para Avaliar LLMs como Engenheiros de Garantia de Qualidade
GBQA: A Game Benchmark for Evaluating LLMs as Quality Assurance Engineers
April 3, 2026
Autores: Shufan Jiang, Chios Chen, Zhiyang Chen
cs.AI
Resumo
A descoberta autônoma de bugs continua a ser um desafio significativo no desenvolvimento de software moderno. Em comparação com a geração de código, a complexidade dos ambientes de execução dinâmicos torna a descoberta de bugs consideravelmente mais difícil para os grandes modelos de linguagem (LLMs). Neste artigo, adotamos o desenvolvimento de jogos como um domínio representativo e introduzimos o *Game Benchmark for Quality Assurance* (GBQA), um benchmark que contém 30 jogos e 124 bugs verificados por humanos em três níveis de dificuldade, para avaliar se os LLMs podem detetar bugs de software de forma autónoma. O benchmark é construído usando um sistema multiagente que desenvolve jogos e injeta bugs de maneira escalável, com especialistas humanos no ciclo para garantir a correção. Além disso, fornecemos um agente interativo de base equipado com um ciclo ReAct multi-iteração e um mecanismo de memória, permitindo uma exploração de longo horizonte de ambientes de jogo para deteção de bugs em diferentes LLMs. Experiências extensas com LLMs de vanguarda demonstram que a descoberta autónoma de bugs continua a ser altamente desafiadora: o modelo com melhor desempenho, o Claude-4.6-Opus em modo de pensamento, identifica apenas 48,39% dos bugs verificados. Acreditamos que o GBQA fornece um campo de teste e um critério de avaliação adequados, e que novos progressos nele ajudarão a reduzir a lacuna na engenharia de software autónoma.
English
The autonomous discovery of bugs remains a significant challenge in modern software development. Compared to code generation, the complexity of dynamic runtime environments makes bug discovery considerably harder for large language models (LLMs). In this paper, we take game development as a representative domain and introduce the Game Benchmark for Quality Assurance (GBQA), a benchmark containing 30 games and 124 human-verified bugs across three difficulty levels, to evaluate whether LLMs can autonomously detect software bugs. The benchmark is constructed using a multi-agent system that develops games and injects bugs in a scalable manner, with human experts in the loop to ensure correctness. Moreover, we provide a baseline interactive agent equipped with a multi-round ReAct loop and a memory mechanism, enabling long-horizon exploration of game environments for bug detection across different LLMs. Extensive experiments on frontier LLMs demonstrate that autonomous bug discovery remains highly challenging: the best-performing model, Claude-4.6-Opus in thinking mode, identifies only 48.39% of the verified bugs. We believe GBQA provides an adequate testbed and evaluation criterion, and that further progress on it will help close the gap in autonomous software engineering.