JAMER: Dataset en benchmark van codeframework op projectniveau voor professionele game-engines

Samenvatting

Huidige AI-gestuurde game-ontwikkeling heeft aanzienlijke vooruitgang geboekt op het gebied van materiaalgeneratie, gameplay-ontwerp en webgebaseerd spelcoderen, maar codetechniek op projectniveau in professionele game-engines blijft grotendeels onontgonnen vanwege het ontbreken van grootschalige datasets en deterministische evaluatiemethoden. We presenteren JamSet en JamBench, de eerste dataset en benchmark op projectniveau voor gamecode-frameworks, gebouwd op een professionele game-engine. Ons belangrijkste inzicht is dat Game Jam-wedstrijden, gemeenschapsevenementen waarbij ontwikkelaars in korte tijd complete spellen bouwen, duizenden opensourceprojecten opleveren die geschikt zijn voor dit doel. Voortbouwend op het tekstgebaseerde formaat van de Godot-engine en de headless-uitvoeringsmodus ontwerpen we een deterministische verificatiepijplijn, van bestandsintegriteit tot verzameling van runtime-gedrag, waarmee we 8.133 geverifieerde projecten destilleren uit meer dan 240.000 repositories. Hiervan vormen 300 handmatig geverifieerde projecten JamBench; de rest vormt JamSet. JamBench definieert themagestuurde generatie- en code-aanvultaken, geëvalueerd via een pijplijn die compilatieslagingspercentages, de Structural Completeness Score (SCS) en de Behavioral Alignment Score (BAS) combineert. Evaluatie van 9 frontiermodellen onthult een capaciteitsklif naarmate de projectomvang toeneemt, waarbij runtime-slagingspercentages dalen van 80,4% bij kleine projecten tot 5,7% bij grote (Task2a). Code-agenten verbeteren compilatiepercentages, maar leveren geen winst op in kwaliteit van runtime-gedrag, wat aangeeft dat de bottleneck ligt in architectonisch ontwerp in plaats van syntactische correctheid. Experimenten bevestigen JamSet als effectieve trainingsdata. Alle data en code zijn openbaar beschikbaar.

English

Current AI-driven game development has made substantial progress in asset generation, gameplay design, and web-based game coding, yet project-level code engineering on professional game engines remains largely unexplored due to the absence of large-scale datasets and deterministic evaluation methods. We present JamSet and JamBench, the first project-level game code framework dataset and benchmark built on a professional game engine. Our key insight is that Game Jam competitions, community events where developers build complete games under tight time constraints, yield thousands of open-source projects suitable for this purpose. Building on the Godot engine's text-based format and headless execution mode, we design a deterministic verification pipeline from file integrity to runtime behavior collection, distilling 8,133 verified projects from over 240,000 repositories. Of these, 300 manually verified projects form JamBench; the rest constitute JamSet. JamBench defines theme-driven generation and code completion tasks, evaluated through a pipeline combining compilation pass rates, Structural Completeness Score (SCS), and Behavioral Alignment Score (BAS). Evaluation of 9 frontier models reveals a capability cliff as project scale increases, with runtime pass rates dropping from 80.4% on small projects to 5.7% on large ones (Task2a). Code Agents improve compilation rates yet yield no gains in runtime behavioral quality, indicating that the bottleneck lies in architectural design rather than syntactic correctness. Experiments validate JamSet as effective training data. All data and code are publicly available.