JAMER: Code-Framework-Datensatz auf Projektebene und Benchmark für professionelle Game-Engines

Zusammenfassung

Derzeitige KI-gesteuerte Spieleentwicklung hat erhebliche Fortschritte in den Bereichen Asset-Generierung, Gameplay-Design und webbasierter Spielprogrammierung erzielt, doch die projektbezogene Code-Entwicklung in professionellen Spiele-Engines bleibt aufgrund des Fehlens großer Datensätze und deterministischer Bewertungsmethoden weitgehend unerforscht. Wir stellen JamSet und JamBench vor, das erste projektbezogene Framework-Datenset und Benchmark für Spielcode, das auf einer professionellen Spiele-Engine basiert. Unser zentraler Ansatzpunkt ist, dass Game-Jam-Wettbewerbe – Community-Veranstaltungen, bei denen Entwickler unter strengen Zeitvorgaben vollständige Spiele erstellen – Tausende von Open-Source-Projekten hervorbringen, die für diesen Zweck geeignet sind. Aufbauend auf dem textbasierten Format und dem Headless-Ausführungsmodus der Godot-Engine entwerfen wir eine deterministische Verifikationspipeline, die von Dateiintegrität bis hin zur Erfassung des Laufzeitverhaltens reicht und aus über 240.000 Repositories 8.133 verifizierte Projekte destilliert. Davon bilden 300 manuell verifizierte Projekte JamBench; der Rest bildet JamSet. JamBench definiert themengesteuerte Generierungs- und Codevervollständigungsaufgaben, die durch eine Pipeline bewertet werden, die Kompilierungserfolgsraten, den Structural Completeness Score (SCS) und den Behavioral Alignment Score (BAS) kombiniert. Die Bewertung von 9 Grenzmodellen zeigt eine Fähigkeitskluft mit zunehmendem Projektumfang, wobei die Laufzeitbestehensraten von 80,4 % bei kleinen Projekten auf 5,7 % bei großen Projekten fallen (Aufgabe 2a). Code-Agents verbessern die Kompilierungsraten, erzielen jedoch keine Steigerung der Verhaltensqualität zur Laufzeit, was darauf hindeutet, dass der Engpass eher im architektonischen Design als in der syntaktischen Korrektheit liegt. Experimente bestätigen JamSet als effektive Trainingsdaten. Alle Daten und Codes sind öffentlich verfügbar.

English

Current AI-driven game development has made substantial progress in asset generation, gameplay design, and web-based game coding, yet project-level code engineering on professional game engines remains largely unexplored due to the absence of large-scale datasets and deterministic evaluation methods. We present JamSet and JamBench, the first project-level game code framework dataset and benchmark built on a professional game engine. Our key insight is that Game Jam competitions, community events where developers build complete games under tight time constraints, yield thousands of open-source projects suitable for this purpose. Building on the Godot engine's text-based format and headless execution mode, we design a deterministic verification pipeline from file integrity to runtime behavior collection, distilling 8,133 verified projects from over 240,000 repositories. Of these, 300 manually verified projects form JamBench; the rest constitute JamSet. JamBench defines theme-driven generation and code completion tasks, evaluated through a pipeline combining compilation pass rates, Structural Completeness Score (SCS), and Behavioral Alignment Score (BAS). Evaluation of 9 frontier models reveals a capability cliff as project scale increases, with runtime pass rates dropping from 80.4% on small projects to 5.7% on large ones (Task2a). Code Agents improve compilation rates yet yield no gains in runtime behavioral quality, indicating that the bottleneck lies in architectural design rather than syntactic correctness. Experiments validate JamSet as effective training data. All data and code are publicly available.