JAMER: プロフェッショナルゲームエンジンにおけるプロジェクトレベルのコードフレームワークデータセットとベンチマーク

要旨

現在のAI駆動型ゲーム開発は、アセット生成、ゲームプレイ設計、Webベースのゲームコーディングにおいて顕著な進歩を遂げているが、プロフェッショナルなゲームエンジン上でのプロジェクトレベルのコードエンジニアリングは、大規模データセットと確定的評価手法の欠如により、ほとんど未開拓のままである。本稿では、JamSetおよびJamBenchを提案する。これらは、プロフェッショナルなゲームエンジン上に構築された初のプロジェクトレベルのゲームコードフレームワークデータセットおよびベンチマークである。我々の重要な洞察は、ゲームジャム競技会（開発者が厳しい時間制約のもとで完全なゲームを構築するコミュニティイベント）が、この目的に適した数千ものオープンソースプロジェクトを生み出している点にある。Godotエンジンのテキストベース形式とヘッドレス実行モードを活用し、ファイル整合性からランタイム動作収集に至る確定的検証パイプラインを設計し、24万以上のリポジトリから8,133の検証済みプロジェクトを抽出した。うち300の手動検証済みプロジェクトがJamBenchを構成し、残りがJamSetを構成する。JamBenchは、テーマ駆動型生成タスクとコード補完タスクを定義し、コンパイル合格率、構造的完全性スコア（SCS）、行動的一致スコア（BAS）を組み合わせたパイプラインで評価される。9つの最先端モデルの評価により、プロジェクト規模の拡大に伴う能力の崖が明らかとなり、ランタイム合格率は小規模プロジェクトの80.4%から大規模プロジェクトでは5.7%（Task2a）に低下した。コードエージェントはコンパイル率を改善するものの、ランタイムの行動品質には向上が見られず、ボトルネックが構文的正しさではなくアーキテクチャ設計にあることを示している。実験により、JamSetが効果的な訓練データであることが検証された。すべてのデータとコードは公開されている。

English

Current AI-driven game development has made substantial progress in asset generation, gameplay design, and web-based game coding, yet project-level code engineering on professional game engines remains largely unexplored due to the absence of large-scale datasets and deterministic evaluation methods. We present JamSet and JamBench, the first project-level game code framework dataset and benchmark built on a professional game engine. Our key insight is that Game Jam competitions, community events where developers build complete games under tight time constraints, yield thousands of open-source projects suitable for this purpose. Building on the Godot engine's text-based format and headless execution mode, we design a deterministic verification pipeline from file integrity to runtime behavior collection, distilling 8,133 verified projects from over 240,000 repositories. Of these, 300 manually verified projects form JamBench; the rest constitute JamSet. JamBench defines theme-driven generation and code completion tasks, evaluated through a pipeline combining compilation pass rates, Structural Completeness Score (SCS), and Behavioral Alignment Score (BAS). Evaluation of 9 frontier models reveals a capability cliff as project scale increases, with runtime pass rates dropping from 80.4% on small projects to 5.7% on large ones (Task2a). Code Agents improve compilation rates yet yield no gains in runtime behavioral quality, indicating that the bottleneck lies in architectural design rather than syntactic correctness. Experiments validate JamSet as effective training data. All data and code are publicly available.