StudentSim: LLM 기반 학생 시뮬레이터 학습

초록

AI 튜터는 각 학생의 강점, 약점, 선호하는 지도 방식에 적응할 때 가장 유용하지만, 어떤 지도가 어떤 학생에게 효과적인지에 대한 증거는 실제 학습자로부터 수집하기에 양이 부족하고 속도가 느리며 비용이 많이 든다. 학생 시뮬레이터는 이러한 신호를 대리하여 제공할 수 있지만, 기존 접근법에는 한계가 있다. 상태 추적 모델은 학생 행동에 적합하게 학습되지만 설명이나 교정을 처리하는 데 어려움을 겪는 반면, LLM 역할극은 지도를 유창하게 따르지만 모방 대상 학생의 능력과 안정적으로 일치하지는 않는다. 본 논문은 풀링 훈련에 이은 학생별 전문화를 통해 학생별 희소 데이터를 개별화된 시뮬레이터로 전환하는 훈련 프레임워크인 StudentSim을 제시한다. 결과로 얻어진 시뮬레이터는 학생 자신의 응답을 반영하면서도 튜터의 지도에 따라 응답을 갱신한다. 또한 체스, 제2언어 영어 쓰기, 수학 분야의 60명의 학생을 대상으로 하고 연구용으로 공유된 비식별 기록이 포함된 공개 학습자 데이터셋을 사용하는 표준화된 프로토콜인 StudentSimEval을 소개한다. StudentSimEval은 시뮬레이터가 학생의 응답과 얼마나 잘 일치하는지(행동 충실도, F)와 튜터 지도에 따라 얼마나 쉽게 갱신되는지(지도 반응성, R)를 측정하며, 모든 방법은 동일한 기록에 대해 적합 및 평가된다. 세 영역 전반에 걸쳐 StudentSim은 두 지표 모두에서 GPT-5.4를 능가한다. 체스에서 StudentSim은 F=0.51, R=0.91을 달성했으며, GPT-5.4는 각각 0.23과 0.72, Maia2는 각각 0.45와 0.27을 기록했다. 개념 증명으로서, 튜터 강화 학습을 위한 보상 모델로 StudentSim을 사용하면 RL이 없는 기준선이나 GPT-5.4 시뮬레이터 보상으로 훈련된 튜터보다 전문가들이 더 정확하고, 지도가 더 우수하며, 더 개인화된 것으로 평가하는 체스 튜터를 생성한다. 코드는 https://github.com/microsoft/StudentSim에서 확인할 수 있다.

English

AI tutors are most useful when they adapt to each student's strengths, weaknesses, and preferred guidance, but evidence about which guidance works for which student is sparse, slow, and costly to collect from real learners. Student simulators can provide this signal as a proxy, yet existing approaches are limited: state-tracking models fit student behavior but struggle to process explanations or corrections, while LLM role-play follows guidance fluently but does not reliably match the competence of the student being imitated. We present StudentSim, a training framework that turns sparse per-student data into individualized simulators through pooled training followed by per-student specialization. The resulting simulators both mirror a student's own responses and update them under tutor guidance. We also introduce StudentSimEval, a standardized protocol covering 60 students across chess, second-language English writing, and mathematics, using public learner datasets with de-identified records shared for research. StudentSimEval measures behavioral fidelity (F), or how well a simulator matches a student's responses, and guidance responsiveness (R), or how readily it updates under tutor guidance, with all methods fit and evaluated on the same records. Across all three domains, StudentSim outperforms GPT-5.4 on both metrics. In chess, StudentSim reaches F=0.51 and R=0.91, compared with 0.23 and 0.72 for GPT-5.4 and 0.45 and 0.27 for Maia2. As a proof of concept, using StudentSim as a reward model for tutor reinforcement learning produces a chess tutor that expert humans rate as more accurate, better-guided, and more personalized than a no-RL baseline and a tutor trained against a GPT-5.4 simulator reward. Code is available at https://github.com/microsoft/StudentSim.

StudentSim: LLM 기반 학생 시뮬레이터 학습

StudentSim: Training LLM-based Student Simulators

초록

Support