JAMER: Conjunto de Dados e Benchmark de Framework de Código em Nível de Projeto para Motores de Jogos Profissionais

Resumo

O desenvolvimento de jogos atualmente impulsionado por IA fez progressos substanciais na geração de ativos, design de jogabilidade e codificação de jogos baseada na web, mas a engenharia de código em nível de projeto em motores de jogos profissionais permanece em grande parte inexplorada devido à ausência de conjuntos de dados em larga escala e métodos de avaliação determinísticos. Apresentamos JamSet e JamBench, o primeiro conjunto de dados e benchmark de framework de código de jogos em nível de projeto construído sobre um motor de jogos profissional. Nossa principal percepção é que as competições Game Jam, eventos comunitários onde desenvolvedores criam jogos completos sob rígidas restrições de tempo, geram milhares de projetos de código aberto adequados para esse propósito. Aproveitando o formato baseado em texto do motor Godot e o modo de execução headless, projetamos um pipeline de verificação determinístico, desde a integridade dos arquivos até a coleta de comportamento em tempo de execução, destilando 8.133 projetos verificados de mais de 240.000 repositórios. Desses, 300 projetos verificados manualmente formam o JamBench; o restante constitui o JamSet. O JamBench define tarefas de geração orientada por tema e conclusão de código, avaliadas por meio de um pipeline que combina taxas de aprovação de compilação, Pontuação de Completude Estrutural (SCS) e Pontuação de Alinhamento Comportamental (BAS). A avaliação de 9 modelos de fronteira revela um precipício de capacidade à medida que a escala do projeto aumenta, com as taxas de aprovação em tempo de execução caindo de 80,4% em projetos pequenos para 5,7% em projetos grandes (Task2a). Agentes de Código melhoram as taxas de compilação, mas não geram ganhos na qualidade comportamental em tempo de execução, indicando que o gargalo está no design arquitetônico, e não na correção sintática. Experimentos validam o JamSet como dados de treinamento eficazes. Todos os dados e códigos estão publicamente disponíveis.

English

Current AI-driven game development has made substantial progress in asset generation, gameplay design, and web-based game coding, yet project-level code engineering on professional game engines remains largely unexplored due to the absence of large-scale datasets and deterministic evaluation methods. We present JamSet and JamBench, the first project-level game code framework dataset and benchmark built on a professional game engine. Our key insight is that Game Jam competitions, community events where developers build complete games under tight time constraints, yield thousands of open-source projects suitable for this purpose. Building on the Godot engine's text-based format and headless execution mode, we design a deterministic verification pipeline from file integrity to runtime behavior collection, distilling 8,133 verified projects from over 240,000 repositories. Of these, 300 manually verified projects form JamBench; the rest constitute JamSet. JamBench defines theme-driven generation and code completion tasks, evaluated through a pipeline combining compilation pass rates, Structural Completeness Score (SCS), and Behavioral Alignment Score (BAS). Evaluation of 9 frontier models reveals a capability cliff as project scale increases, with runtime pass rates dropping from 80.4% on small projects to 5.7% on large ones (Task2a). Code Agents improve compilation rates yet yield no gains in runtime behavioral quality, indicating that the bottleneck lies in architectural design rather than syntactic correctness. Experiments validate JamSet as effective training data. All data and code are publicly available.