Tutor CoPilot: Un Approccio Umano-AI per Scalare l'Expertise in Tempo Reale

Tutor CoPilot: A Human-AI Approach for Scaling Real-Time Expertise

October 3, 2024

Autori: Rose E. Wang, Ana T. Ribeiro, Carly D. Robinson, Susanna Loeb, Dora Demszky

cs.AI

Abstract

L'Intelligenza Artificiale Generativa, in particolare i Modelli Linguistici (LM), ha il potenziale per trasformare settori del mondo reale con impatto sociale, specialmente dove l'accesso agli esperti è limitato. Ad esempio, nell'ambito dell'istruzione, formare educatori alle prime armi con la guida di esperti è importante per l'efficacia ma costoso, creando significative barriere per migliorare la qualità dell'istruzione su larga scala. Questa sfida danneggia in modo sproporzionato gli studenti delle comunità svantaggiate, che trarrebbero il maggior beneficio da un'istruzione di alta qualità. Presentiamo Tutor CoPilot, un nuovo approccio Umano-AI che sfrutta un modello di pensiero esperto per fornire una guida simile a quella degli esperti ai tutor durante le lezioni. Questo studio è il primo trial controllato randomizzato di un sistema Umano-AI in sessioni di tutoring dal vivo, coinvolgendo 900 tutor e 1.800 studenti delle scuole elementari e medie provenienti da comunità storicamente svantaggiate. Seguendo un piano di analisi preregistrato, scopriamo che gli studenti che lavorano con tutor che hanno accesso a Tutor CoPilot hanno il 4% in più di probabilità di padroneggiare gli argomenti (p<0.01). In particolare, gli studenti dei tutor con valutazioni più basse hanno ottenuto il maggior beneficio, migliorando il livello di padronanza del 9%. Troviamo che Tutor CoPilot costa solo $20 per tutor all'anno. Analizziamo oltre 550.000 messaggi utilizzando classificatori per identificare strategie pedagogiche e scopriamo che i tutor con accesso a Tutor CoPilot sono più propensi a utilizzare strategie di alta qualità per favorire la comprensione degli studenti (ad esempio, porre domande guida) e meno propensi a fornire direttamente la risposta agli studenti. Le interviste ai tutor evidenziano come la guida di Tutor CoPilot aiuti i tutor a rispondere alle esigenze degli studenti, anche se segnalano problemi in Tutor CoPilot, come la generazione di suggerimenti non appropriati per il livello di grado. Nel complesso, il nostro studio su Tutor CoPilot dimostra come i sistemi Umano-AI possano diffondere l'esperienza in settori del mondo reale, colmare lacune nelle competenze e creare un futuro in cui un'istruzione di alta qualità sia accessibile a tutti gli studenti.

English

Generative AI, particularly Language Models (LMs), has the potential to transform real-world domains with societal impact, particularly where access to experts is limited. For example, in education, training novice educators with expert guidance is important for effectiveness but expensive, creating significant barriers to improving education quality at scale. This challenge disproportionately harms students from under-served communities, who stand to gain the most from high-quality education. We introduce Tutor CoPilot, a novel Human-AI approach that leverages a model of expert thinking to provide expert-like guidance to tutors as they tutor. This study is the first randomized controlled trial of a Human-AI system in live tutoring, involving 900 tutors and 1,800 K-12 students from historically under-served communities. Following a preregistered analysis plan, we find that students working with tutors that have access to Tutor CoPilot are 4 percentage points (p.p.) more likely to master topics (p<0.01). Notably, students of lower-rated tutors experienced the greatest benefit, improving mastery by 9 p.p. We find that Tutor CoPilot costs only $20 per-tutor annually. We analyze 550,000+ messages using classifiers to identify pedagogical strategies, and find that tutors with access to Tutor CoPilot are more likely to use high-quality strategies to foster student understanding (e.g., asking guiding questions) and less likely to give away the answer to the student. Tutor interviews highlight how Tutor CoPilot's guidance helps tutors to respond to student needs, though they flag issues in Tutor CoPilot, such as generating suggestions that are not grade-level appropriate. Altogether, our study of Tutor CoPilot demonstrates how Human-AI systems can scale expertise in real-world domains, bridge gaps in skills and create a future where high-quality education is accessible to all students.