Когнитивные эпизоды в следах рассуждений LLM обеспечивают интерпретируемое прогнозирование сложности заданий для человека

Аннотация

Прогнозирование трудности заданий для человека является центральной задачей образовательного оценивания, где надежные оценки поддерживают справедливость и эффективное конструирование тестов. Существующие методы часто полагаются на дорогостоящую калибровку человеком или текстовые представления на уровне заданий, предоставляя ограниченные сведения о когнитивных процессах, делающих задания трудными. Мы утверждаем, что трудность следует рассматривать не только как свойство текста задания, но и как наблюдаемое следствие нагрузки на решение задач, которую задание индуцирует. Большие модели рассуждений (LRM) обеспечивают масштабируемые процессуальные свидетельства посредством трасс рассуждений, но такие свидетельства должны быть структурированы для поддержки интерпретируемого моделирования. С этой целью мы представляем Epi2Diff (Episode to Difficulty) — фреймворк, который отображает трассы рассуждений LRM в когнитивно обоснованные последовательности эпизодов. Эти эпизоды группируют фрагменты трасс в функциональные состояния решения задач, позволяя моделировать трудность через масштаб рассуждений, распределение усилий и переходы между состояниями. Epi2Diff извлекает компактные эпизодно-динамические признаки и объединяет их с семантическими представлениями заданий для прогнозирования человеческой трудности. Эксперименты на четырех реальных наборах данных о человеческой трудности показывают, что Epi2Diff последовательно превосходит сильные базовые модели, включая дообученные малые языковые модели, обучение в контексте LLM и адаптацию LLM с учителем. На эталонах классификации, основанных на SAT, Epi2Diff достигает среднего относительного прироста 8,1% по сравнению с базовыми моделями дообучения LLM с учителем. Дальнейший анализ показывает, что более трудные задания вызывают более трудоемкую, итеративную и ориентированную на реализацию динамику эпизодов, а не просто более длинные ответы. Эти результаты демонстрируют, что когнитивные эпизоды в трассах рассуждений LRM предоставляют прогностическое и интерпретируемое представление процесса для человеческой трудности заданий, открывая новый взгляд на образовательные измерения с помощью моделей рассуждений.

English

Predicting human item difficulty is central to educational assessment, where reliable estimates support fairness and effective test construction. Existing methods often depend on costly human calibration or item-level textual representations, providing limited evidence about the cognitive processes that make items difficult. We argue that difficulty should be viewed not only as a property of item text, but also as an observable consequence of the problem-solving burden an item induces. Large Reasoning Models (LRMs) offer scalable process evidence through reasoning traces, but such evidence must be structured to support interpretable modeling. To this end, we introduce Epi2Diff (Episode to Difficulty), a framework that maps LRM reasoning traces into cognitively grounded episode sequences. These episodes group trace segments into functional problem-solving states, enabling difficulty to be modeled through reasoning scale, effort allocation, and state transitions. Epi2Diff extracts compact episode-dynamic features and combines them with semantic item representations for human difficulty prediction. Experiments on four real-world human difficulty datasets show that Epi2Diff consistently outperforms strong baselines, including fine-tuned small language models, LLM in-context learning, and supervised LLM adaptation. On SAT-derived classification benchmarks, Epi2Diff achieves an 8.1% average relative gain over supervised LLM fine-tuning baselines. Further analyses show that harder items induce more effortful, iterative, and implementation-centered episode dynamics, rather than merely longer responses. These results demonstrate that cognitive episodes in LRM reasoning traces provide a predictive and interpretable process representation for human item difficulty, offering a new lens for educational measurement with reasoning models.