JAMER : Ensemble de données et benchmark de cadre de code au niveau projet sur les moteurs de jeu professionnels

Résumé

Le développement actuel de jeux vidéo piloté par l'IA a réalisé des progrès substantiels dans la génération d'actifs, la conception du gameplay et le codage de jeux sur le Web. Cependant, l'ingénierie du code au niveau projet sur des moteurs de jeu professionnels reste largement inexplorée, en raison de l'absence d'ensembles de données à grande échelle et de méthodes d'évaluation déterministes. Nous présentons JamSet et JamBench, le premier ensemble de données et banc d'essai de code de jeu au niveau projet construit sur un moteur de jeu professionnel. Notre idée clé est que les compétitions Game Jam, des événements communautaires où les développeurs construisent des jeux complets sous des contraintes de temps strictes, produisent des milliers de projets open source adaptés à cet objectif. En nous appuyant sur le format textuel du moteur Godot et son mode d'exécution sans tête, nous concevons un pipeline de vérification déterministe allant de l'intégrité des fichiers à la collecte du comportement d'exécution, extrayant 8 133 projets vérifiés parmi plus de 240 000 dépôts. Parmi ceux-ci, 300 projets vérifiés manuellement forment JamBench ; le reste constitue JamSet. JamBench définit des tâches de génération guidée par thème et de complétion de code, évaluées via un pipeline combinant les taux de réussite de compilation, le Score de Complétude Structurelle (SCS) et le Score d'Alignement Comportemental (BAS). L'évaluation de 9 modèles de pointe révèle une falaise de capacité à mesure que l'échelle des projets augmente, les taux de réussite d'exécution passant de 80,4 % sur les petits projets à 5,7 % sur les grands (Tâche 2a). Les Agents de Code améliorent les taux de compilation mais n'apportent aucun gain en qualité comportementale à l'exécution, ce qui indique que le goulot d'étranglement réside dans la conception architecturale plutôt que dans la correction syntaxique. Les expériences valident JamSet en tant que données d'entraînement efficaces. Toutes les données et le code sont disponibles publiquement.

English

Current AI-driven game development has made substantial progress in asset generation, gameplay design, and web-based game coding, yet project-level code engineering on professional game engines remains largely unexplored due to the absence of large-scale datasets and deterministic evaluation methods. We present JamSet and JamBench, the first project-level game code framework dataset and benchmark built on a professional game engine. Our key insight is that Game Jam competitions, community events where developers build complete games under tight time constraints, yield thousands of open-source projects suitable for this purpose. Building on the Godot engine's text-based format and headless execution mode, we design a deterministic verification pipeline from file integrity to runtime behavior collection, distilling 8,133 verified projects from over 240,000 repositories. Of these, 300 manually verified projects form JamBench; the rest constitute JamSet. JamBench defines theme-driven generation and code completion tasks, evaluated through a pipeline combining compilation pass rates, Structural Completeness Score (SCS), and Behavioral Alignment Score (BAS). Evaluation of 9 frontier models reveals a capability cliff as project scale increases, with runtime pass rates dropping from 80.4% on small projects to 5.7% on large ones (Task2a). Code Agents improve compilation rates yet yield no gains in runtime behavioral quality, indicating that the bottleneck lies in architectural design rather than syntactic correctness. Experiments validate JamSet as effective training data. All data and code are publicly available.