Tuteur CoPilot : Une approche humaine-IA pour mettre à l'échelle l'expertise en temps réel

Tutor CoPilot: A Human-AI Approach for Scaling Real-Time Expertise

October 3, 2024

Auteurs: Rose E. Wang, Ana T. Ribeiro, Carly D. Robinson, Susanna Loeb, Dora Demszky

cs.AI

Résumé

L'intelligence artificielle générative, en particulier les Modèles de Langage (LMs), a le potentiel de transformer des domaines du monde réel avec un impact sociétal, en particulier là où l'accès à des experts est limité. Par exemple, dans le domaine de l'éducation, former de nouveaux éducateurs avec un encadrement d'experts est important pour l'efficacité mais coûteux, créant ainsi des obstacles significatifs à l'amélioration de la qualité de l'éducation à grande échelle. Ce défi nuit de manière disproportionnée aux étudiants des communautés défavorisées, qui ont le plus à gagner d'une éducation de haute qualité. Nous présentons Tutor CoPilot, une nouvelle approche Humain-IA qui exploite un modèle de pensée experte pour fournir un encadrement de type expert aux tuteurs pendant leurs séances de tutorat. Cette étude est le premier essai contrôlé randomisé d'un système Humain-IA en tutorat en direct, impliquant 900 tuteurs et 1 800 élèves de la maternelle à la 12e année issus de communautés historiquement défavorisées. Suivant un plan d'analyse préenregistré, nous constatons que les élèves travaillant avec des tuteurs ayant accès à Tutor CoPilot ont 4 points de pourcentage (p.p.) de plus de chances de maîtriser les sujets (p<0,01). Notamment, les élèves des tuteurs moins bien notés ont bénéficié le plus, améliorant leur maîtrise de 9 p.p. Nous constatons que Tutor CoPilot ne coûte que 20 $ par tuteur par an. Nous analysons plus de 550 000 messages à l'aide de classificateurs pour identifier les stratégies pédagogiques, et constatons que les tuteurs ayant accès à Tutor CoPilot sont plus susceptibles d'utiliser des stratégies de haute qualité pour favoriser la compréhension des élèves (par exemple, poser des questions guidantes) et moins susceptibles de donner la réponse à l'élève. Les entretiens avec les tuteurs soulignent comment l'encadrement de Tutor CoPilot aide les tuteurs à répondre aux besoins des élèves, bien qu'ils signalent des problèmes dans Tutor CoPilot, tels que la génération de suggestions qui ne sont pas adaptées au niveau de classe. Dans l'ensemble, notre étude sur Tutor CoPilot démontre comment les systèmes Humain-IA peuvent étendre l'expertise dans des domaines du monde réel, combler les lacunes en compétences et créer un avenir où une éducation de haute qualité est accessible à tous les élèves.

English

Generative AI, particularly Language Models (LMs), has the potential to transform real-world domains with societal impact, particularly where access to experts is limited. For example, in education, training novice educators with expert guidance is important for effectiveness but expensive, creating significant barriers to improving education quality at scale. This challenge disproportionately harms students from under-served communities, who stand to gain the most from high-quality education. We introduce Tutor CoPilot, a novel Human-AI approach that leverages a model of expert thinking to provide expert-like guidance to tutors as they tutor. This study is the first randomized controlled trial of a Human-AI system in live tutoring, involving 900 tutors and 1,800 K-12 students from historically under-served communities. Following a preregistered analysis plan, we find that students working with tutors that have access to Tutor CoPilot are 4 percentage points (p.p.) more likely to master topics (p<0.01). Notably, students of lower-rated tutors experienced the greatest benefit, improving mastery by 9 p.p. We find that Tutor CoPilot costs only $20 per-tutor annually. We analyze 550,000+ messages using classifiers to identify pedagogical strategies, and find that tutors with access to Tutor CoPilot are more likely to use high-quality strategies to foster student understanding (e.g., asking guiding questions) and less likely to give away the answer to the student. Tutor interviews highlight how Tutor CoPilot's guidance helps tutors to respond to student needs, though they flag issues in Tutor CoPilot, such as generating suggestions that are not grade-level appropriate. Altogether, our study of Tutor CoPilot demonstrates how Human-AI systems can scale expertise in real-world domains, bridge gaps in skills and create a future where high-quality education is accessible to all students.