GBQA: Игровой бенчмарк для оценки языковых моделей в роли инженеров по обеспечению качества
GBQA: A Game Benchmark for Evaluating LLMs as Quality Assurance Engineers
April 3, 2026
Авторы: Shufan Jiang, Chios Chen, Zhiyang Chen
cs.AI
Аннотация
Автономное обнаружение ошибок остается серьезной проблемой в современной разработке программного обеспечения. По сравнению с генерацией кода, сложность динамических сред выполнения делает обнаружение ошибок значительно более сложной задачей для больших языковых моделей (LLM). В данной статье мы рассматриваем разработку игр в качестве репрезентативной области и представляем Game Benchmark for Quality Assurance (GBQA) — эталонный набор, содержащий 30 игр и 124 проверенных человеком ошибки трех уровней сложности, для оценки способности LLM автономно обнаруживать программные ошибки. Бенчмарк создан с использованием мульти-агентной системы, которая разрабатывает игры и внедряет ошибки масштабируемым образом, при участии экспертов-людей для обеспечения корректности. Кроме того, мы предлагаем базового интерактивного агента, оснащенного многораундовым циклом ReAct и механизмом памяти, что позволяет осуществлять долгосрочное исследование игровых сред для обнаружения ошибок в различных LLM. Масштабные эксперименты с передовыми LLM демонстрируют, что автономное обнаружение ошибок остается крайне сложной задачей: лучшая модель, Claude-4.6-Opus в режиме мышления, обнаруживает лишь 48.39% проверенных ошибок. Мы считаем, что GBQA предоставляет адекватный испытательный стенд и критерии оценки, и дальнейший прогресс в этой области поможет сократить разрыв в области автономной программной инженерии.
English
The autonomous discovery of bugs remains a significant challenge in modern software development. Compared to code generation, the complexity of dynamic runtime environments makes bug discovery considerably harder for large language models (LLMs). In this paper, we take game development as a representative domain and introduce the Game Benchmark for Quality Assurance (GBQA), a benchmark containing 30 games and 124 human-verified bugs across three difficulty levels, to evaluate whether LLMs can autonomously detect software bugs. The benchmark is constructed using a multi-agent system that develops games and injects bugs in a scalable manner, with human experts in the loop to ensure correctness. Moreover, we provide a baseline interactive agent equipped with a multi-round ReAct loop and a memory mechanism, enabling long-horizon exploration of game environments for bug detection across different LLMs. Extensive experiments on frontier LLMs demonstrate that autonomous bug discovery remains highly challenging: the best-performing model, Claude-4.6-Opus in thinking mode, identifies only 48.39% of the verified bugs. We believe GBQA provides an adequate testbed and evaluation criterion, and that further progress on it will help close the gap in autonomous software engineering.