GameXpert-Bench: 코딩 에이전트는 전문가 수준의 게임 개발에 얼마나 근접했는가?

초록

최근 대규모 언어 모델(LLM)은 자연어 요청으로부터 완전한 게임을 구축할 수 있는 코딩 에이전트로 작동할 수 있다. 게임 개발은 프로그램 논리, 시각 및 오디오 콘텐츠, 인터페이스, 상호작용, 플레이 가능성이 하나의 실행 가능한 산출물에서 함께 작동해야 하기 때문에 특히 까다롭다. 따라서 이 능력을 측정하려면 게임 산출물과 개발 프로세스 모두에 대한 평가가 필요하다. 기존 벤치마크는 종종 최종 산출물이나 고립된 개발 단계를 평가함으로써 LLM의 게임 개발 능력을 평가한다. 완전한 인간-에이전트 개발 궤적에 대한 우리의 분석은 코딩 에이전트를 사용한 게임 개발의 수명 주기를 함께 포괄하는 세 단계, 즉 초기 게임 생성, 버그 진단 및 수리, 다중 턴에 걸친 최적화를 식별한다. 따라서 우리는 세 가지 상호 보완적인 벤치마크 트랙으로 세 수명 주기 단계를 구현한 GameXpert-Bench를 소개한다. GameGen은 빈 작업 공간에서 단일 요청으로부터 완전한 게임 생성을 평가한다. GameFix는 결함이 보고되거나 에이전트가 스스로 발견하도록 남겨졌을 때의 진단 및 수리를 평가한다. GameOpt는 사용자와 에이전트 사이의 실제 개발 궤적으로 초기화된 요청 체인을 통한 누적 최적화를 평가한다. 우리는 각 트랙을 실시간 게임 상호작용, 결정적 동작 테스트, 또는 회귀 검사가 포함된 최종 산출물 기준을 사용하여 평가한다. 이 스위트는 11개 장르에 걸친 97개의 생성 작업, 인간이 검증한 50개의 게임 레벨에서 나온 100개의 수리 작업(각각 19~27개의 주입된 버그 포함), 그리고 6턴과 102개의 요청으로 구성된 17개의 최적화 체인을 포함한다. 세 트랙 전반에 걸쳐, 현재 에이전트는 결함 발견, 런타임 동작 검증, 변경 전반에 걸친 기능 보존보다는 플레이 가능한 기반 생성과 명시적 요구사항 구현에서 더 신뢰할 만하다.

English

Recent large language models (LLMs) can operate as coding agents that build complete games from natural language requests. Game development is especially demanding because program logic, visual and audio content, interfaces, interaction and playability must function together in one executable artifact. Measuring this capability therefore requires evaluation of both game product and the development process. Existing benchmarks often assess the game development capabilities of LLMs by evaluating the final artifact or an isolated development stage. Our analysis of complete human-agent development trajectories identifies three stages that together span the lifecycle of game development with a coding agent: initial game generation, bug diagnosis and repair, and optimization over multiple turns. Therefore, we introduce GameXpert-Bench, which operationalizes the three lifecycle stages as three complementary benchmark tracks. GameGen evaluates complete game creation from a single request in an empty workspace. GameFix evaluates diagnosis and repair when defects are reported or left for the agent to discover. GameOpt evaluates cumulative optimization through request chains seeded by real development trajectories between users and agents. We evaluate each track using live game interaction, deterministic behavioral tests, or final product criteria with regression checks. The suite contains 97 generation tasks across 11 genres; 100 repair tasks from 50 game levels verified by humans, each with 19-27 injected bugs; and 17 optimization chains with six turns and 102 requests. Across the three tracks, current agents are more reliable at producing playable foundations and implementing explicit requirements than at discovering defects, verifying runtime behavior, and preserving functionality across changes.