GameXpert-Bench: コーディングエージェントはエキスパートのゲーム開発からどの程度離れているのか

要旨

最近の大規模言語モデル（LLM）は、自然言語のリクエストから完全なゲームを構築するコーディングエージェントとして動作できる。ゲーム開発は、プログラムロジック、視覚的・音声的コンテンツ、インターフェース、インタラクション、プレイアビリティが単一の実行可能な成果物として一体として機能しなければならないため、特に要求が厳しい。したがって、この能力を測定するには、ゲーム製品と開発プロセスの両方の評価が必要である。既存のベンチマークは、多くの場合、最終成果物または孤立した開発段階を評価することによって、LLMのゲーム開発能力を評価している。完全な人間とエージェントの開発軌跡の分析から、コーディングエージェントを用いたゲーム開発のライフサイクル全体を網羅する3つの段階を特定した：初期ゲーム生成、バグ診断と修正、複数ターンにわたる最適化である。そこで我々は、これら3つのライフサイクル段階を相補的な3つのベンチマークトラックとして具体化するGameXpert-Benchを導入する。GameGenは、空のワークスペースにおける単一のリクエストからの完全なゲーム生成を評価する。GameFixは、欠陥が報告された場合またはエージェントが発見すべき場合の診断と修正を評価する。GameOptは、ユーザーとエージェント間の実際の開発軌跡に基づくリクエストチェーンを通じた累積的最適化を評価する。各トラックは、ライブなゲーム操作、決定的な行動テスト、または回帰チェックを伴う最終製品基準を用いて評価する。スイートには、11ジャンルにわたる97の生成タスク、人間が検証した50のゲームレベルからの100の修正タスク（各レベルに19〜27個の注入バグ）、および6ターンと102リクエストからなる17の最適化チェーンが含まれる。3つのトラックを通じて、現在のエージェントは、欠陥の発見、ランタイム動作の検証、変更にわたる機能の維持よりも、プレイ可能な基盤の生成と明示的な要件の実装においてより信頼性が高い。

English

Recent large language models (LLMs) can operate as coding agents that build complete games from natural language requests. Game development is especially demanding because program logic, visual and audio content, interfaces, interaction and playability must function together in one executable artifact. Measuring this capability therefore requires evaluation of both game product and the development process. Existing benchmarks often assess the game development capabilities of LLMs by evaluating the final artifact or an isolated development stage. Our analysis of complete human-agent development trajectories identifies three stages that together span the lifecycle of game development with a coding agent: initial game generation, bug diagnosis and repair, and optimization over multiple turns. Therefore, we introduce GameXpert-Bench, which operationalizes the three lifecycle stages as three complementary benchmark tracks. GameGen evaluates complete game creation from a single request in an empty workspace. GameFix evaluates diagnosis and repair when defects are reported or left for the agent to discover. GameOpt evaluates cumulative optimization through request chains seeded by real development trajectories between users and agents. We evaluate each track using live game interaction, deterministic behavioral tests, or final product criteria with regression checks. The suite contains 97 generation tasks across 11 genres; 100 repair tasks from 50 game levels verified by humans, each with 19-27 injected bugs; and 17 optimization chains with six turns and 102 requests. Across the three tracks, current agents are more reliable at producing playable foundations and implementing explicit requirements than at discovering defects, verifying runtime behavior, and preserving functionality across changes.