Een verkennende casestudy naar LLM-ondersteunde refactoring en generatie van gameplayfuncties in een eindeloze runner game

Samenvatting

Grote taalmodellen (LLMs) worden steeds vaker gebruikt om softwareontwikkeling te ondersteunen, maar hun praktische bruikbaarheid in toegepaste game-ontwikkelingsomgevingen blijft onderbelicht, vooral wanneer gegenereerde code moet worden geïntegreerd in een bestaand game-softwaresysteem. Dit artikel presenteert een verkennende empirische casestudy van GPT-4o in een op maat gemaakte Python/Pygame eindeloze renner. De studie onderzoekt zes geselecteerde ontwikkelingstaken: drie gelokaliseerde refactoringtaken en drie taken die betrekking hebben op het genereren van gameplayfuncties. De resulterende implementaties werden geëvalueerd met behulp van softwaremetrieken, eenheidstests en handmatige gameplaybeoordelingen. In deze casestudy werden alle drie geselecteerde refactoringtaken functioneel succesvol afgerond, terwijl slechts een van de drie geselecteerde taken voor het genereren van gameplayfuncties leidde tot een correct geïntegreerde functie. De bevindingen suggereren dat GPT-4o in deze setting gelokaliseerde transformaties betrouwbaarder afhandelde dan taken die nieuwe gameplay-interacties over meerdere bestaande systemen vereisen. Gezien het verkennende enkelvoudige casusontwerp kunnen deze resultaten het best worden geïnterpreteerd als indicatieve observaties in plaats van als generaliseerbaar bewijs van modelprestaties op categorieniveau. Over het geheel genomen levert het artikel een transparante casusgebaseerde beschrijving van de mogelijkheden en beperkingen van LLM-ondersteunde refactoring en gameplay-functiegeneratie in een bestaand game-softwaresysteem.

English

Large language models (LLMs) are increasingly used to support software development, but their practical usefulness in applied game-development settings remains underexplored, especially when generated code must be integrated into an existing game software system. This paper presents an exploratory empirical case study of GPT-4o in a custom Python/Pygame endless runner. The study examines six selected development tasks: three localized refactoring tasks and three tasks involving gameplay feature generation. The resulting implementations were evaluated using software metrics, unit tests, and manual gameplay assessments. In this case study, all three selected refactoring tasks were completed successfully in functional terms, whereas only one of the three selected gameplay feature generation tasks resulted in a correctly integrated feature. The findings suggest that, in this setting, GPT-4o handled localized transformations more reliably than tasks requiring new gameplay interactions across multiple existing systems. Given the exploratory single-case design, these results are best interpreted as indicative observations rather than as generalizable evidence of category-level model performance. Overall, the paper contributes a transparent case-based account of the opportunities and limitations of LLM-assisted refactoring and gameplay feature generation in an existing game software system.