IntrEx: Набор данных для моделирования вовлеченности в образовательных диалогах

IntrEx: A Dataset for Modeling Engagement in Educational Conversations

September 8, 2025

Авторы: Xingwei Tan, Mahathi Parvatham, Chiara Gambi, Gabriele Pergola

cs.AI

Аннотация

Вовлеченность и мотивация играют ключевую роль в изучении второго языка, однако поддержание интереса учащихся в образовательных беседах остается сложной задачей. Хотя предыдущие исследования изучали, что делает образовательные тексты интересными, до сих пор мало известно о лингвистических особенностях, которые способствуют вовлеченности в разговорах. Чтобы восполнить этот пробел, мы представляем IntrEx — первый крупный набор данных, аннотированный на предмет интересности и ожидаемой интересности в диалогах между учителем и учеником. Основанный на корпусе Teacher-Student Chatroom Corpus (TSCC), IntrEx расширяет предыдущие работы, включая аннотации на уровне последовательностей, что позволяет изучать вовлеченность не только в рамках отдельных реплик, но и отслеживать, как интерес развивается в ходе продолжительных диалогов. Мы используем строгий процесс аннотирования с участием более 100 изучающих второй язык, применяя подход к оценке на основе сравнения, вдохновленный обучением с подкреплением на основе человеческой обратной связи (RLHF), чтобы повысить согласованность. Мы исследуем, могут ли крупные языковые модели (LLM) предсказывать суждения людей о интересности. Результаты показывают, что LLM с 7B/8B параметрами, дообученные на оценках интересности, превосходят более крупные проприетарные модели, такие как GPT-4o, демонстрируя потенциал специализированных наборов данных для моделирования вовлеченности в образовательных контекстах. Наконец, мы анализируем, как лингвистические и когнитивные факторы, такие как конкретность, понятность (читаемость) и усвоение, влияют на вовлеченность в образовательных диалогах.

English

Engagement and motivation are crucial for second-language acquisition, yet maintaining learner interest in educational conversations remains a challenge. While prior research has explored what makes educational texts interesting, still little is known about the linguistic features that drive engagement in conversations. To address this gap, we introduce IntrEx, the first large dataset annotated for interestingness and expected interestingness in teacher-student interactions. Built upon the Teacher-Student Chatroom Corpus (TSCC), IntrEx extends prior work by incorporating sequence-level annotations, allowing for the study of engagement beyond isolated turns to capture how interest evolves over extended dialogues. We employ a rigorous annotation process with over 100 second-language learners, using a comparison-based rating approach inspired by reinforcement learning from human feedback (RLHF) to improve agreement. We investigate whether large language models (LLMs) can predict human interestingness judgments. We find that LLMs (7B/8B parameters) fine-tuned on interestingness ratings outperform larger proprietary models like GPT-4o, demonstrating the potential for specialised datasets to model engagement in educational settings. Finally, we analyze how linguistic and cognitive factors, such as concreteness, comprehensibility (readability), and uptake, influence engagement in educational dialogues.