Tutor CoPilot: Человеко-Искусственный Интеллект Подход для Масштабирования Экспертизы в Реальном Времени

Tutor CoPilot: A Human-AI Approach for Scaling Real-Time Expertise

October 3, 2024

Авторы: Rose E. Wang, Ana T. Ribeiro, Carly D. Robinson, Susanna Loeb, Dora Demszky

cs.AI

Аннотация

Генеративный искусственный интеллект, в частности, языковые модели (LM), имеют потенциал трансформировать области реального мира с социальным воздействием, особенно там, где доступ к экспертам ограничен. Например, в образовании обучение начинающих педагогов с экспертным руководством важно для эффективности, но дорого и создает значительные преграды для улучшения качества образования в масштабах. Эта проблема неравномерно влияет на учащихся из малообслуживаемых сообществ, которые могут получить наибольшую пользу от образования высокого качества. Мы представляем Tutor CoPilot, новый человеко-искусственный подход, который использует модель экспертного мышления для предоставления экспертного руководства репетиторам в процессе занятий. Это исследование является первым контролируемым случайным исследованием человеко-искусственной системы в реальном времени, включающим 900 репетиторов и 1,800 учащихся начальных и средних классов из исторически малообслуживаемых сообществ. Следуя зарегистрированному плану анализа, мы обнаружили, что учащиеся, работающие с репетиторами, имеющими доступ к Tutor CoPilot, на 4 процентных пункта (p<0.01) вероятнее овладевают темами. Особенно учащиеся, обучаемые менее оцененными репетиторами, получили наибольшую пользу, улучшив владение предметом на 9 п.п. Мы выяснили, что Tutor CoPilot стоит всего $20 в год на одного репетитора. Мы проанализировали более 550,000 сообщений с использованием классификаторов для выявления педагогических стратегий и обнаружили, что репетиторы с доступом к Tutor CoPilot более склонны использовать высококачественные стратегии для содействия пониманию учащихся (например, задавать направляющие вопросы) и менее склонны давать ответ учащемуся. Интервью с репетиторами подчеркивают, как руководство Tutor CoPilot помогает репетиторам реагировать на потребности учащихся, хотя они выявляют проблемы в Tutor CoPilot, такие как предложения, не соответствующие уровню класса. В целом, наше исследование Tutor CoPilot демонстрирует, как человеко-искусственные системы могут масштабировать экспертизу в областях реального мира, преодолевать разрывы в навыках и создавать будущее, где образование высокого качества доступно всем учащимся.

English

Generative AI, particularly Language Models (LMs), has the potential to transform real-world domains with societal impact, particularly where access to experts is limited. For example, in education, training novice educators with expert guidance is important for effectiveness but expensive, creating significant barriers to improving education quality at scale. This challenge disproportionately harms students from under-served communities, who stand to gain the most from high-quality education. We introduce Tutor CoPilot, a novel Human-AI approach that leverages a model of expert thinking to provide expert-like guidance to tutors as they tutor. This study is the first randomized controlled trial of a Human-AI system in live tutoring, involving 900 tutors and 1,800 K-12 students from historically under-served communities. Following a preregistered analysis plan, we find that students working with tutors that have access to Tutor CoPilot are 4 percentage points (p.p.) more likely to master topics (p<0.01). Notably, students of lower-rated tutors experienced the greatest benefit, improving mastery by 9 p.p. We find that Tutor CoPilot costs only $20 per-tutor annually. We analyze 550,000+ messages using classifiers to identify pedagogical strategies, and find that tutors with access to Tutor CoPilot are more likely to use high-quality strategies to foster student understanding (e.g., asking guiding questions) and less likely to give away the answer to the student. Tutor interviews highlight how Tutor CoPilot's guidance helps tutors to respond to student needs, though they flag issues in Tutor CoPilot, such as generating suggestions that are not grade-level appropriate. Altogether, our study of Tutor CoPilot demonstrates how Human-AI systems can scale expertise in real-world domains, bridge gaps in skills and create a future where high-quality education is accessible to all students.