Tutor CoPilot: Ein menschlich-ki-basierter Ansatz zur Skalierung von Echtzeit-Expertise

Tutor CoPilot: A Human-AI Approach for Scaling Real-Time Expertise

October 3, 2024

Autoren: Rose E. Wang, Ana T. Ribeiro, Carly D. Robinson, Susanna Loeb, Dora Demszky

cs.AI

Zusammenfassung

Generative KI, insbesondere Sprachmodelle (LMs), haben das Potenzial, reale Bereiche mit gesellschaftlicher Wirkung zu transformieren, insbesondere dort, wo der Zugang zu Experten begrenzt ist. Zum Beispiel ist es in der Bildung wichtig, angehende Pädagogen mit Expertenrat auszubilden, um effektiv zu sein, aber dies ist teuer und schafft erhebliche Hindernisse für die Verbesserung der Bildungsqualität im großen Maßstab. Diese Herausforderung schadet insbesondere Schülern aus unterversorgten Gemeinschaften, die am meisten von hochwertiger Bildung profitieren könnten. Wir stellen Tutor CoPilot vor, einen neuartigen menschlichen KI-Ansatz, der ein Modell des Expertendenkens nutzt, um Tutoren während des Unterrichtens expertenähnliche Anleitung zu bieten. Diese Studie ist der erste randomisierte kontrollierte Versuch eines Mensch-KI-Systems im Live-Unterricht und umfasst 900 Tutoren und 1.800 Schüler der Klassen K-12 aus historisch unterversorgten Gemeinschaften. Gemäß einem vorregistrierten Analyseplan stellen wir fest, dass Schüler, die mit Tutoren arbeiten, die Zugang zu Tutor CoPilot haben, um 4 Prozentpunkte wahrscheinlicher sind, Themen zu beherrschen (p<0,01). Bemerkenswerterweise profitierten Schüler von schlechter bewerteten Tutoren am meisten und verbesserten ihre Beherrschung um 9 Prozentpunkte. Wir stellen fest, dass Tutor CoPilot nur 20 US-Dollar pro Tutor und Jahr kostet. Wir analysieren über 550.000 Nachrichten mit Klassifikatoren, um pädagogische Strategien zu identifizieren, und stellen fest, dass Tutoren mit Zugang zu Tutor CoPilot eher hochwertige Strategien zur Förderung des Schülerverständnisses (z. B. das Stellen von leitenden Fragen) verwenden und weniger wahrscheinlich die Antwort an den Schüler verraten. Tutor-Interviews verdeutlichen, wie die Anleitung von Tutor CoPilot Tutoren hilft, auf die Bedürfnisse der Schüler einzugehen, obwohl sie Probleme in Tutor CoPilot aufzeigen, wie beispielsweise das Generieren von Vorschlägen, die nicht dem Klassenstufeniveau entsprechen. Insgesamt zeigt unsere Studie zu Tutor CoPilot, wie Mensch-KI-Systeme Expertise in realen Bereichen skalieren können, Lücken in Fähigkeiten überbrücken und eine Zukunft schaffen können, in der hochwertige Bildung für alle Schüler zugänglich ist.

English

Generative AI, particularly Language Models (LMs), has the potential to transform real-world domains with societal impact, particularly where access to experts is limited. For example, in education, training novice educators with expert guidance is important for effectiveness but expensive, creating significant barriers to improving education quality at scale. This challenge disproportionately harms students from under-served communities, who stand to gain the most from high-quality education. We introduce Tutor CoPilot, a novel Human-AI approach that leverages a model of expert thinking to provide expert-like guidance to tutors as they tutor. This study is the first randomized controlled trial of a Human-AI system in live tutoring, involving 900 tutors and 1,800 K-12 students from historically under-served communities. Following a preregistered analysis plan, we find that students working with tutors that have access to Tutor CoPilot are 4 percentage points (p.p.) more likely to master topics (p<0.01). Notably, students of lower-rated tutors experienced the greatest benefit, improving mastery by 9 p.p. We find that Tutor CoPilot costs only $20 per-tutor annually. We analyze 550,000+ messages using classifiers to identify pedagogical strategies, and find that tutors with access to Tutor CoPilot are more likely to use high-quality strategies to foster student understanding (e.g., asking guiding questions) and less likely to give away the answer to the student. Tutor interviews highlight how Tutor CoPilot's guidance helps tutors to respond to student needs, though they flag issues in Tutor CoPilot, such as generating suggestions that are not grade-level appropriate. Altogether, our study of Tutor CoPilot demonstrates how Human-AI systems can scale expertise in real-world domains, bridge gaps in skills and create a future where high-quality education is accessible to all students.