Tutor CoPilot: Een menselijke-AI benadering voor het schalen van real-time expertise

Tutor CoPilot: A Human-AI Approach for Scaling Real-Time Expertise

October 3, 2024

Auteurs: Rose E. Wang, Ana T. Ribeiro, Carly D. Robinson, Susanna Loeb, Dora Demszky

cs.AI

Samenvatting

Generatieve AI, met name Taalmodellen (LM's), heeft het potentieel om real-world domeinen met maatschappelijke impact te transformeren, met name daar waar de toegang tot experts beperkt is. Bijvoorbeeld, in het onderwijs is het belangrijk om beginnende docenten op te leiden met expertbegeleiding voor effectiviteit, maar dit is duur, wat aanzienlijke barrières creëert voor het verbeteren van de onderwijskwaliteit op grote schaal. Deze uitdaging benadeelt studenten uit onderbediende gemeenschappen onevenredig, die het meest kunnen profiteren van hoogwaardig onderwijs. We introduceren Tutor CoPilot, een nieuw mens-AI-benadering die een model van expertdenken benut om expertachtige begeleiding te bieden aan tutoren terwijl ze lesgeven. Deze studie is de eerste gerandomiseerde gecontroleerde trial van een mens-AI-systeem in live tutoring, waarbij 900 tutoren en 1,800 K-12 studenten uit historisch onderbediende gemeenschappen betrokken zijn. Volgens een vooraf geregistreerd analyseplan vinden we dat studenten die werken met tutoren die toegang hebben tot Tutor CoPilot 4 procentpunten (p.p.) waarschijnlijker zijn om onderwerpen onder de knie te krijgen (p<0.01). Opmerkelijk is dat studenten van lager beoordeelde tutoren het meeste voordeel ervoeren, waarbij de beheersing met 9 p.p. verbeterde. We vinden dat Tutor CoPilot slechts $20 per tutor per jaar kost. We analyseren 550,000+ berichten met behulp van classificatoren om pedagogische strategieën te identificeren, en vinden dat tutoren met toegang tot Tutor CoPilot eerder hoogwaardige strategieën zullen gebruiken om het begrip van de student te bevorderen (bijv. het stellen van begeleidende vragen) en minder geneigd zijn om het antwoord aan de student te geven. Tutorinterviews benadrukken hoe de begeleiding van Tutor CoPilot tutoren helpt om te reageren op de behoeften van de student, hoewel ze problemen signaleren in Tutor CoPilot, zoals het genereren van suggesties die niet geschikt zijn voor het niveau van de student. Al met al toont onze studie van Tutor CoPilot aan hoe mens-AI-systemen expertise kunnen opschalen in real-world domeinen, kloven in vaardigheden kunnen overbruggen en een toekomst kunnen creëren waarin hoogwaardig onderwijs toegankelijk is voor alle studenten.

English

Generative AI, particularly Language Models (LMs), has the potential to transform real-world domains with societal impact, particularly where access to experts is limited. For example, in education, training novice educators with expert guidance is important for effectiveness but expensive, creating significant barriers to improving education quality at scale. This challenge disproportionately harms students from under-served communities, who stand to gain the most from high-quality education. We introduce Tutor CoPilot, a novel Human-AI approach that leverages a model of expert thinking to provide expert-like guidance to tutors as they tutor. This study is the first randomized controlled trial of a Human-AI system in live tutoring, involving 900 tutors and 1,800 K-12 students from historically under-served communities. Following a preregistered analysis plan, we find that students working with tutors that have access to Tutor CoPilot are 4 percentage points (p.p.) more likely to master topics (p<0.01). Notably, students of lower-rated tutors experienced the greatest benefit, improving mastery by 9 p.p. We find that Tutor CoPilot costs only $20 per-tutor annually. We analyze 550,000+ messages using classifiers to identify pedagogical strategies, and find that tutors with access to Tutor CoPilot are more likely to use high-quality strategies to foster student understanding (e.g., asking guiding questions) and less likely to give away the answer to the student. Tutor interviews highlight how Tutor CoPilot's guidance helps tutors to respond to student needs, though they flag issues in Tutor CoPilot, such as generating suggestions that are not grade-level appropriate. Altogether, our study of Tutor CoPilot demonstrates how Human-AI systems can scale expertise in real-world domains, bridge gaps in skills and create a future where high-quality education is accessible to all students.