Tutor CoPilot: Un Enfoque Humano-AI para Escalar la Experticia en Tiempo Real

Tutor CoPilot: A Human-AI Approach for Scaling Real-Time Expertise

October 3, 2024

Autores: Rose E. Wang, Ana T. Ribeiro, Carly D. Robinson, Susanna Loeb, Dora Demszky

cs.AI

Resumen

La Inteligencia Artificial Generativa, en particular los Modelos de Lenguaje (LMs), tiene el potencial de transformar dominios del mundo real con impacto social, especialmente donde el acceso a expertos es limitado. Por ejemplo, en educación, capacitar a educadores novatos con orientación experta es importante para la efectividad pero costoso, creando barreras significativas para mejorar la calidad educativa a gran escala. Este desafío perjudica desproporcionadamente a estudiantes de comunidades desatendidas, que tienen más que ganar de una educación de alta calidad. Presentamos Tutor CoPilot, un enfoque novedoso Humano-AI que aprovecha un modelo de pensamiento experto para brindar orientación similar a la de un experto a los tutores mientras enseñan. Este estudio es el primer ensayo controlado aleatorio de un sistema Humano-AI en tutoría en vivo, involucrando a 900 tutores y 1,800 estudiantes de K-12 de comunidades históricamente desatendidas. Siguiendo un plan de análisis preinscrito, encontramos que los estudiantes que trabajan con tutores que tienen acceso a Tutor CoPilot tienen 4 puntos porcentuales (p.p.) más probabilidades de dominar los temas (p<0.01). Especialmente, los estudiantes de tutores con calificaciones más bajas experimentaron el mayor beneficio, mejorando el dominio en 9 p.p. Encontramos que Tutor CoPilot cuesta solo $20 por tutor al año. Analizamos más de 550,000 mensajes utilizando clasificadores para identificar estrategias pedagógicas, y encontramos que los tutores con acceso a Tutor CoPilot tienen más probabilidades de usar estrategias de alta calidad para fomentar la comprensión del estudiante (por ejemplo, hacer preguntas orientadoras) y menos probabilidades de dar la respuesta al estudiante directamente. Las entrevistas a los tutores resaltan cómo la orientación de Tutor CoPilot ayuda a los tutores a responder a las necesidades de los estudiantes, aunque señalan problemas en Tutor CoPilot, como generar sugerencias que no son apropiadas para el nivel de grado. En conjunto, nuestro estudio de Tutor CoPilot demuestra cómo los sistemas Humano-AI pueden escalar la experiencia en dominios del mundo real, cerrar brechas en habilidades y crear un futuro donde la educación de alta calidad sea accesible para todos los estudiantes.

English

Generative AI, particularly Language Models (LMs), has the potential to transform real-world domains with societal impact, particularly where access to experts is limited. For example, in education, training novice educators with expert guidance is important for effectiveness but expensive, creating significant barriers to improving education quality at scale. This challenge disproportionately harms students from under-served communities, who stand to gain the most from high-quality education. We introduce Tutor CoPilot, a novel Human-AI approach that leverages a model of expert thinking to provide expert-like guidance to tutors as they tutor. This study is the first randomized controlled trial of a Human-AI system in live tutoring, involving 900 tutors and 1,800 K-12 students from historically under-served communities. Following a preregistered analysis plan, we find that students working with tutors that have access to Tutor CoPilot are 4 percentage points (p.p.) more likely to master topics (p<0.01). Notably, students of lower-rated tutors experienced the greatest benefit, improving mastery by 9 p.p. We find that Tutor CoPilot costs only $20 per-tutor annually. We analyze 550,000+ messages using classifiers to identify pedagogical strategies, and find that tutors with access to Tutor CoPilot are more likely to use high-quality strategies to foster student understanding (e.g., asking guiding questions) and less likely to give away the answer to the student. Tutor interviews highlight how Tutor CoPilot's guidance helps tutors to respond to student needs, though they flag issues in Tutor CoPilot, such as generating suggestions that are not grade-level appropriate. Altogether, our study of Tutor CoPilot demonstrates how Human-AI systems can scale expertise in real-world domains, bridge gaps in skills and create a future where high-quality education is accessible to all students.