JAMER: Conjunto de datos y benchmark de framework de código a nivel de proyecto en motores de juego profesionales

Resumen

El desarrollo actual de videojuegos impulsado por IA ha logrado avances sustanciales en la generación de activos, el diseño de jugabilidad y la codificación de juegos basados en web; sin embargo, la ingeniería de código a nivel de proyecto en motores de juego profesionales sigue siendo un área poco explorada debido a la ausencia de conjuntos de datos a gran escala y métodos de evaluación deterministas. Presentamos JamSet y JamBench, el primer conjunto de datos y referencia de código de juegos a nivel de proyecto construido sobre un motor de juego profesional. Nuestra idea clave es que las competiciones Game Jam, eventos comunitarios donde los desarrolladores construyen juegos completos bajo estrictas limitaciones de tiempo, generan miles de proyectos de código abierto adecuados para este propósito. Basándonos en el formato basado en texto y el modo de ejecución headless del motor Godot, diseñamos una tubería de verificación determinista que abarca desde la integridad de archivos hasta la recolección del comportamiento en tiempo de ejecución, obteniendo 8,133 proyectos verificados de más de 240,000 repositorios. De estos, 300 proyectos verificados manualmente conforman JamBench; el resto constituye JamSet. JamBench define tareas de generación basadas en temáticas y de completado de código, evaluadas mediante una tubería que combina tasas de aprobación de compilación, el Puntaje de Integridad Estructural (SCS) y el Puntaje de Alineación de Comportamiento (BAS). La evaluación de 9 modelos de frontera revela un abismo de capacidad a medida que aumenta la escala del proyecto, con tasas de aprobación en tiempo de ejecución que caen del 80,4% en proyectos pequeños al 5,7% en proyectos grandes (Tarea2a). Los Agentes de Código mejoran las tasas de compilación, pero no generan ganancias en la calidad del comportamiento en tiempo de ejecución, lo que indica que el cuello de botella radica en el diseño arquitectónico más que en la corrección sintáctica. Los experimentos validan a JamSet como datos de entrenamiento efectivos. Todos los datos y el código están disponibles públicamente.

English

Current AI-driven game development has made substantial progress in asset generation, gameplay design, and web-based game coding, yet project-level code engineering on professional game engines remains largely unexplored due to the absence of large-scale datasets and deterministic evaluation methods. We present JamSet and JamBench, the first project-level game code framework dataset and benchmark built on a professional game engine. Our key insight is that Game Jam competitions, community events where developers build complete games under tight time constraints, yield thousands of open-source projects suitable for this purpose. Building on the Godot engine's text-based format and headless execution mode, we design a deterministic verification pipeline from file integrity to runtime behavior collection, distilling 8,133 verified projects from over 240,000 repositories. Of these, 300 manually verified projects form JamBench; the rest constitute JamSet. JamBench defines theme-driven generation and code completion tasks, evaluated through a pipeline combining compilation pass rates, Structural Completeness Score (SCS), and Behavioral Alignment Score (BAS). Evaluation of 9 frontier models reveals a capability cliff as project scale increases, with runtime pass rates dropping from 80.4% on small projects to 5.7% on large ones (Task2a). Code Agents improve compilation rates yet yield no gains in runtime behavioral quality, indicating that the bottleneck lies in architectural design rather than syntactic correctness. Experiments validate JamSet as effective training data. All data and code are publicly available.