Les épisodes cognitifs dans les traces de raisonnement des LLM permettent une prédiction interprétable de la difficulté des items pour les humains.

Résumé

Prédire la difficulté des items pour les humains est un enjeu central de l’évaluation éducative, où des estimations fiables soutiennent l’équité et une construction efficace des tests. Les méthodes existantes dépendent souvent d’un calibrage humain coûteux ou de représentations textuelles au niveau des items, fournissant peu d’indices sur les processus cognitifs qui rendent les items difficiles. Nous soutenons que la difficulté ne doit pas être considérée uniquement comme une propriété du texte de l’item, mais aussi comme une conséquence observable de la charge de résolution de problèmes qu’un item induit. Les Grands Modèles de Raisonnement (LRM) offrent des preuves de processus à grande échelle via des traces de raisonnement, mais ces preuves doivent être structurées pour soutenir une modélisation interprétable. À cette fin, nous introduisons Epi2Diff (Épisode vers Difficulté), un cadre qui transforme les traces de raisonnement des LRM en séquences d’épisodes ancrées cognitivement. Ces épisodes regroupent des segments de traces en états fonctionnels de résolution de problèmes, permettant de modéliser la difficulté à travers l’ampleur du raisonnement, l’allocation d’effort et les transitions d’états. Epi2Diff extrait des caractéristiques compactes de dynamique d’épisodes et les combine avec des représentations sémantiques d’items pour prédire la difficulté humaine. Des expériences sur quatre ensembles de données réelles de difficulté humaine montrent qu’Epi2Diff surpasse systématiquement des bases de référence solides, incluant des petits modèles de langage finement réglés, l’apprentissage en contexte avec des LLM, et l’adaptation supervisée de LLM. Sur des tâches de classification dérivées du SAT, Epi2Diff obtient un gain relatif moyen de 8,1 % par rapport aux bases de référence de fine-tuning supervisé de LLM. Des analyses supplémentaires montrent que les items plus difficiles induisent des dynamiques d’épisodes plus exigeantes, itératives et centrées sur la mise en œuvre, plutôt que de simples réponses plus longues. Ces résultats démontrent que les épisodes cognitifs dans les traces de raisonnement des LRM fournissent une représentation prédictive et interprétable des processus pour la difficulté des items humains, offrant une nouvelle perspective pour la mesure éducative avec des modèles de raisonnement.

English

Predicting human item difficulty is central to educational assessment, where reliable estimates support fairness and effective test construction. Existing methods often depend on costly human calibration or item-level textual representations, providing limited evidence about the cognitive processes that make items difficult. We argue that difficulty should be viewed not only as a property of item text, but also as an observable consequence of the problem-solving burden an item induces. Large Reasoning Models (LRMs) offer scalable process evidence through reasoning traces, but such evidence must be structured to support interpretable modeling. To this end, we introduce Epi2Diff (Episode to Difficulty), a framework that maps LRM reasoning traces into cognitively grounded episode sequences. These episodes group trace segments into functional problem-solving states, enabling difficulty to be modeled through reasoning scale, effort allocation, and state transitions. Epi2Diff extracts compact episode-dynamic features and combines them with semantic item representations for human difficulty prediction. Experiments on four real-world human difficulty datasets show that Epi2Diff consistently outperforms strong baselines, including fine-tuned small language models, LLM in-context learning, and supervised LLM adaptation. On SAT-derived classification benchmarks, Epi2Diff achieves an 8.1% average relative gain over supervised LLM fine-tuning baselines. Further analyses show that harder items induce more effortful, iterative, and implementation-centered episode dynamics, rather than merely longer responses. These results demonstrate that cognitive episodes in LRM reasoning traces provide a predictive and interpretable process representation for human item difficulty, offering a new lens for educational measurement with reasoning models.