チューターCoPilot: リアルタイムの専門知識を拡大するための人間AIアプローチ

Tutor CoPilot: A Human-AI Approach for Scaling Real-Time Expertise

October 3, 2024

著者: Rose E. Wang, Ana T. Ribeiro, Carly D. Robinson, Susanna Loeb, Dora Demszky

cs.AI

要旨

生成AI、特に言語モデル（LMs）は、専門家へのアクセスが限られている場合に特に社会的影響を持つ実世界の領域を変革する潜在能力を持っています。例えば、教育分野では、専門家の指導を受けながら初心者教育者を育成することが効果的で重要ですが、費用がかかり、教育の質を大規模に向上させる障壁となっています。この課題は、高品質な教育を最も受けるべきアンダーサービスされたコミュニティの学生に不釣り合いに影響を与えています。私たちは、Tutor CoPilotという新しい人間-AIアプローチを導入し、専門家の思考モデルを活用して、チューターが指導する際に専門家のような指導を提供します。この研究は、歴史的にアンダーサービスされたコミュニティからのK-12の1,800人の生徒と900人のチューターを巻き込んだ、ライブチュートリングにおける人間-AIシステムの最初の無作為化比較試験です。事前登録された分析計画に従い、Tutor CoPilotにアクセスできるチューターと一緒に学習する生徒は、トピックをマスターする可能性が4パーセンテージポイント高いことがわかりました（p<0.01）。特に、評価の低いチューターの生徒が最も恩恵を受け、マスタリーが9ポイント向上しました。Tutor CoPilotのコストは、チューター1人当たり年間20ドルです。550,000以上のメッセージを分類器を使用して分析し、Tutor CoPilotにアクセスできるチューターは、生徒の理解を促進するために高品質な戦略を使用する可能性が高く（例：導く質問をする）、生徒に答えを教える可能性が低いことがわかりました。チューターへのインタビューでは、Tutor CoPilotの指導がチューターが生徒のニーズに応えるのを助けること、ただし、学年に適さない提案を生成するなど、Tutor CoPilotの問題を指摘しています。総じて、Tutor CoPilotの研究は、人間-AIシステムが実世界の領域で専門知識を拡大し、スキルのギャップを埋め、高品質な教育がすべての生徒にアクセス可能な未来を創造する方法を示しています。

English

Generative AI, particularly Language Models (LMs), has the potential to transform real-world domains with societal impact, particularly where access to experts is limited. For example, in education, training novice educators with expert guidance is important for effectiveness but expensive, creating significant barriers to improving education quality at scale. This challenge disproportionately harms students from under-served communities, who stand to gain the most from high-quality education. We introduce Tutor CoPilot, a novel Human-AI approach that leverages a model of expert thinking to provide expert-like guidance to tutors as they tutor. This study is the first randomized controlled trial of a Human-AI system in live tutoring, involving 900 tutors and 1,800 K-12 students from historically under-served communities. Following a preregistered analysis plan, we find that students working with tutors that have access to Tutor CoPilot are 4 percentage points (p.p.) more likely to master topics (p<0.01). Notably, students of lower-rated tutors experienced the greatest benefit, improving mastery by 9 p.p. We find that Tutor CoPilot costs only $20 per-tutor annually. We analyze 550,000+ messages using classifiers to identify pedagogical strategies, and find that tutors with access to Tutor CoPilot are more likely to use high-quality strategies to foster student understanding (e.g., asking guiding questions) and less likely to give away the answer to the student. Tutor interviews highlight how Tutor CoPilot's guidance helps tutors to respond to student needs, though they flag issues in Tutor CoPilot, such as generating suggestions that are not grade-level appropriate. Altogether, our study of Tutor CoPilot demonstrates how Human-AI systems can scale expertise in real-world domains, bridge gaps in skills and create a future where high-quality education is accessible to all students.