ParaStudent: Het genereren en evalueren van realistische studentencode door LLM's te leren worstelen

ParaStudent: Generating and Evaluating Realistic Student Code by Teaching LLMs to Struggle

July 16, 2025

Auteurs: Mihran Miroyan, Rose Niousha, Joseph E. Gonzalez, Gireeja Ranade, Narges Norouzi

cs.AI

Samenvatting

Grote Taalmodellen (LLM's) hebben sterke prestaties getoond bij programmeertaken, maar kunnen ze studentachtige code genereren zoals echte studenten - onvolmaakt, iteratief en stilistisch divers? Wij presenteren ParaStudent, een systematische studie van LLM-gebaseerde "studentachtige" codegeneratie in de context van een inleidende programmeercursus. Met behulp van een dataset van getimede studenteninleveringen over meerdere semesters ontwerpen we experimenten met lage en hoge resolutie om de voortgang van studenten te modelleren en code-uitvoer te evalueren langs semantische, functionele en stilistische dimensies. Onze resultaten tonen aan dat fine-tuning de afstemming met echte studenttrajecten aanzienlijk verbetert en foutpatronen, incrementele verbeteringen en stilistische variaties nauwkeuriger vastlegt. Deze studie laat zien dat het modelleren van realistische studentencode het vastleggen van leer dynamieken vereist door contextbewuste generatie, temporele modellering en multidimensionale evaluatie. Code voor experimenten en evaluatie is beschikbaar op https://github.com/mmiroyan/ParaStudent.

English

Large Language Models (LLMs) have shown strong performance on programming tasks, but can they generate student-like code like real students - imperfect, iterative, and stylistically diverse? We present ParaStudent, a systematic study of LLM-based "student-like" code generation in an introductory programming course setting. Using a dataset of timestamped student submissions across multiple semesters, we design low- and high-resolution experiments to model student progress and evaluate code outputs along semantic, functional, and stylistic dimensions. Our results show that fine-tuning significantly improves alignment with real student trajectories and captures error patterns, incremental improvements, and stylistic variations more faithfully. This study shows that modeling realistic student code requires capturing learning dynamics through context-aware generation, temporal modeling, and multi-dimensional evaluation. Code for experiments and evaluation is available at https://github.com/mmiroyan/ParaStudent.