Tutor CoPilot: Uma Abordagem Humano-IA para Escalar Expertise em Tempo Real

Tutor CoPilot: A Human-AI Approach for Scaling Real-Time Expertise

October 3, 2024

Autores: Rose E. Wang, Ana T. Ribeiro, Carly D. Robinson, Susanna Loeb, Dora Demszky

cs.AI

Resumo

A Inteligência Artificial Generativa, particularmente os Modelos de Linguagem (LMs), têm o potencial de transformar domínios do mundo real com impacto social, especialmente onde o acesso a especialistas é limitado. Por exemplo, na educação, treinar educadores novatos com orientação de especialistas é importante para a eficácia, mas caro, criando barreiras significativas para melhorar a qualidade da educação em larga escala. Esse desafio prejudica desproporcionalmente os alunos de comunidades desfavorecidas, que têm mais a ganhar com uma educação de alta qualidade. Apresentamos o Tutor CoPilot, uma abordagem Humano-AI inovadora que aproveita um modelo de pensamento de especialista para fornecer orientação semelhante à de especialistas aos tutores enquanto eles tutoram. Este estudo é o primeiro ensaio controlado randomizado de um sistema Humano-AI em tutoria ao vivo, envolvendo 900 tutores e 1.800 alunos do K-12 de comunidades historicamente desfavorecidas. Seguindo um plano de análise pré-registrado, descobrimos que os alunos que trabalham com tutores que têm acesso ao Tutor CoPilot têm 4 pontos percentuais (p.p.) a mais de probabilidade de dominar os tópicos (p<0.01). Notavelmente, os alunos de tutores com classificação mais baixa experimentaram o maior benefício, melhorando o domínio em 9 p.p. Descobrimos que o Tutor CoPilot custa apenas $20 por tutor anualmente. Analisamos mais de 550.000 mensagens usando classificadores para identificar estratégias pedagógicas e descobrimos que os tutores com acesso ao Tutor CoPilot têm mais probabilidade de usar estratégias de alta qualidade para promover a compreensão dos alunos (por exemplo, fazendo perguntas orientadoras) e menos probabilidade de fornecer a resposta ao aluno. Entrevistas com tutores destacam como a orientação do Tutor CoPilot ajuda os tutores a responder às necessidades dos alunos, embora apontem problemas no Tutor CoPilot, como gerar sugestões que não são apropriadas para o nível de ensino. Em conjunto, nosso estudo do Tutor CoPilot demonstra como os sistemas Humano-AI podem ampliar a expertise em domínios do mundo real, preencher lacunas em habilidades e criar um futuro onde a educação de alta qualidade seja acessível a todos os alunos.

English

Generative AI, particularly Language Models (LMs), has the potential to transform real-world domains with societal impact, particularly where access to experts is limited. For example, in education, training novice educators with expert guidance is important for effectiveness but expensive, creating significant barriers to improving education quality at scale. This challenge disproportionately harms students from under-served communities, who stand to gain the most from high-quality education. We introduce Tutor CoPilot, a novel Human-AI approach that leverages a model of expert thinking to provide expert-like guidance to tutors as they tutor. This study is the first randomized controlled trial of a Human-AI system in live tutoring, involving 900 tutors and 1,800 K-12 students from historically under-served communities. Following a preregistered analysis plan, we find that students working with tutors that have access to Tutor CoPilot are 4 percentage points (p.p.) more likely to master topics (p<0.01). Notably, students of lower-rated tutors experienced the greatest benefit, improving mastery by 9 p.p. We find that Tutor CoPilot costs only $20 per-tutor annually. We analyze 550,000+ messages using classifiers to identify pedagogical strategies, and find that tutors with access to Tutor CoPilot are more likely to use high-quality strategies to foster student understanding (e.g., asking guiding questions) and less likely to give away the answer to the student. Tutor interviews highlight how Tutor CoPilot's guidance helps tutors to respond to student needs, though they flag issues in Tutor CoPilot, such as generating suggestions that are not grade-level appropriate. Altogether, our study of Tutor CoPilot demonstrates how Human-AI systems can scale expertise in real-world domains, bridge gaps in skills and create a future where high-quality education is accessible to all students.