StudentSim: LLMベースの学生シミュレータの学習

要旨

AIチューターは、各学生の長所、短所、および好ましい指導方法に適応する際に最も有用であるが、どの指導がどの学生に有効かについてのエビデンスは、実際の学習者から収集するには乏しく、時間がかかり、コストも高い。学生シミュレータは、そのプロキシとしてこのシグナルを提供できるが、既存のアプローチには限界がある。すなわち、状態追跡モデルは学生の行動に適合するものの、説明や修正を処理するのが困難であり、一方、LLMによるロールプレイは指導に流暢に従うものの、模倣対象の学生の能力を確実には再現しない。我々はStudentSimを提案する。これは、プール学習の後に学生ごとの特化を行うことで、学生ごとの疎なデータを個別化されたシミュレータに変換する学習フレームワークである。結果として得られるシミュレータは、学生自身の応答を再現するとともに、チューターの指導のもとでそれらの応答を更新する。また、研究用に共有された匿名化記録を持つ公開学習者データセットを用いて、チェス、第二言語としての英語ライティング、数学にわたる60人の学生を対象とした標準化プロトコルであるStudentSimEvalも導入する。StudentSimEvalは、シミュレータが学生の応答にどの程度一致するかを測定する行動忠実度(F)と、チューターの指導のもとでどの程度容易に更新されるかを示す指導応答性(R)を測定し、すべての手法を同じ記録に適合させて評価する。3つの領域すべてにおいて、StudentSimはGPT-5.4を両指標で上回る。チェスでは、StudentSimはF=0.51、R=0.91を達成し、GPT-5.4は0.23と0.72、Maia2は0.45と0.27である。概念実証として、チューター強化学習の報酬モデルとしてStudentSimを用いることで、専門家による人間の評価において、RLなしベースラインやGPT-5.4シミュレータ報酬に対して訓練されたチューターよりも、より正確で、より適切に指導し、より個別化されたチェスチューターが生成される。コードはhttps://github.com/microsoft/StudentSimで入手可能である。

English

AI tutors are most useful when they adapt to each student's strengths, weaknesses, and preferred guidance, but evidence about which guidance works for which student is sparse, slow, and costly to collect from real learners. Student simulators can provide this signal as a proxy, yet existing approaches are limited: state-tracking models fit student behavior but struggle to process explanations or corrections, while LLM role-play follows guidance fluently but does not reliably match the competence of the student being imitated. We present StudentSim, a training framework that turns sparse per-student data into individualized simulators through pooled training followed by per-student specialization. The resulting simulators both mirror a student's own responses and update them under tutor guidance. We also introduce StudentSimEval, a standardized protocol covering 60 students across chess, second-language English writing, and mathematics, using public learner datasets with de-identified records shared for research. StudentSimEval measures behavioral fidelity (F), or how well a simulator matches a student's responses, and guidance responsiveness (R), or how readily it updates under tutor guidance, with all methods fit and evaluated on the same records. Across all three domains, StudentSim outperforms GPT-5.4 on both metrics. In chess, StudentSim reaches F=0.51 and R=0.91, compared with 0.23 and 0.72 for GPT-5.4 and 0.45 and 0.27 for Maia2. As a proof of concept, using StudentSim as a reward model for tutor reinforcement learning produces a chess tutor that expert humans rate as more accurate, better-guided, and more personalized than a no-RL baseline and a tutor trained against a GPT-5.4 simulator reward. Code is available at https://github.com/microsoft/StudentSim.

StudentSim: LLMベースの学生シミュレータの学習

StudentSim: Training LLM-based Student Simulators

要旨

Support