JAMER: Набор данных и бенчмарк фреймворка кода на уровне проекта для профессиональных игровых движков

Аннотация

Современная разработка игр с использованием искусственного интеллекта достигла значительного прогресса в генерации ассетов, проектировании геймплея и кодировании веб-игр, однако инженерия кода на уровне проектов в профессиональных игровых движках остаётся малоизученной из-за отсутствия крупномасштабных наборов данных и детерминированных методов оценки. Мы представляем JamSet и JamBench — первый набор данных и эталонный тест для игрового кода на уровне проектов, построенные на базе профессионального игрового движка. Ключевая идея заключается в том, что соревнования Game Jam — сообщественные мероприятия, где разработчики создают полноценные игры в условиях жёстких временных ограничений — предоставляют тысячи открытых проектов, подходящих для этой цели. Используя текстовый формат и режим безголового выполнения движка Godot, мы разрабатываем детерминированный конвейер верификации, охватывающий этапы от проверки целостности файлов до сбора поведения во время выполнения, и выделяем 8 133 верифицированных проекта из более чем 240 000 репозиториев. Из них 300 проектов, прошедших ручную верификацию, образуют JamBench; остальные входят в состав JamSet. JamBench определяет задачи тематической генерации и дополнения кода, оцениваемые с помощью конвейера, объединяющего процент успешной компиляции, оценку структурной полноты (SCS) и оценку поведенческого соответствия (BAS). Оценка 9 передовых моделей выявила «обрыв возможностей» по мере увеличения масштаба проекта: показатель успешного выполнения снизился с 80,4% для малых проектов до 5,7% для крупных (Task2a). Кодовые агенты улучшают показатели компиляции, но не повышают качество поведения во время выполнения, что указывает на то, что узким местом является архитектурное проектирование, а не синтаксическая корректность. Эксперименты подтверждают эффективность JamSet в качестве обучающих данных. Все данные и код находятся в открытом доступе.

English

Current AI-driven game development has made substantial progress in asset generation, gameplay design, and web-based game coding, yet project-level code engineering on professional game engines remains largely unexplored due to the absence of large-scale datasets and deterministic evaluation methods. We present JamSet and JamBench, the first project-level game code framework dataset and benchmark built on a professional game engine. Our key insight is that Game Jam competitions, community events where developers build complete games under tight time constraints, yield thousands of open-source projects suitable for this purpose. Building on the Godot engine's text-based format and headless execution mode, we design a deterministic verification pipeline from file integrity to runtime behavior collection, distilling 8,133 verified projects from over 240,000 repositories. Of these, 300 manually verified projects form JamBench; the rest constitute JamSet. JamBench defines theme-driven generation and code completion tasks, evaluated through a pipeline combining compilation pass rates, Structural Completeness Score (SCS), and Behavioral Alignment Score (BAS). Evaluation of 9 frontier models reveals a capability cliff as project scale increases, with runtime pass rates dropping from 80.4% on small projects to 5.7% on large ones (Task2a). Code Agents improve compilation rates yet yield no gains in runtime behavioral quality, indicating that the bottleneck lies in architectural design rather than syntactic correctness. Experiments validate JamSet as effective training data. All data and code are publicly available.