Episodios cognitivos en trazas de razonamiento de LLM permiten la predicción interpretable de la dificultad de ítems para humanos.

Resumen

Predecir la dificultad humana de los ítems es fundamental en la evaluación educativa, donde estimaciones confiables respaldan la equidad y la construcción efectiva de pruebas. Los métodos existentes a menudo dependen de costosas calibraciones humanas o representaciones textuales a nivel de ítem, proporcionando evidencia limitada sobre los procesos cognitivos que hacen que los ítems sean difíciles. Argumentamos que la dificultad debe considerarse no solo como una propiedad del texto del ítem, sino también como una consecuencia observable de la carga de resolución de problemas que un ítem induce. Los Modelos de Razonamiento a Gran Escala (LRMs) ofrecen evidencia procesal escalable a través de trazas de razonamiento, pero dicha evidencia debe estructurarse para respaldar un modelado interpretable. Con este fin, presentamos Epi2Diff (Episodio a Dificultad), un marco que mapea las trazas de razonamiento de los LRM en secuencias de episodios cognitivamente fundamentadas. Estos episodios agrupan segmentos de trazas en estados funcionales de resolución de problemas, permitiendo modelar la dificultad a través de la escala de razonamiento, la asignación de esfuerzo y las transiciones de estado. Epi2Diff extrae características compactas de la dinámica de episodios y las combina con representaciones semánticas de los ítems para la predicción de la dificultad humana. Los experimentos en cuatro conjuntos de datos reales de dificultad humana muestran que Epi2Diff supera consistentemente a los modelos base sólidos, incluidos modelos de lenguaje pequeños ajustados, aprendizaje en contexto con LLM y adaptación supervisada de LLM. En evaluaciones comparativas de clasificación basadas en SAT, Epi2Diff logra una ganancia relativa promedio del 8,1 % sobre los modelos base de ajuste fino supervisado con LLM. Análisis adicionales muestran que los ítems más difíciles inducen dinámicas de episodio más esforzadas, iterativas y centradas en la implementación, en lugar de simplemente respuestas más largas. Estos resultados demuestran que los episodios cognitivos en las trazas de razonamiento de los LRM proporcionan una representación procesal predictiva e interpretable de la dificultad humana de los ítems, ofreciendo una nueva perspectiva para la medición educativa con modelos de razonamiento.

English

Predicting human item difficulty is central to educational assessment, where reliable estimates support fairness and effective test construction. Existing methods often depend on costly human calibration or item-level textual representations, providing limited evidence about the cognitive processes that make items difficult. We argue that difficulty should be viewed not only as a property of item text, but also as an observable consequence of the problem-solving burden an item induces. Large Reasoning Models (LRMs) offer scalable process evidence through reasoning traces, but such evidence must be structured to support interpretable modeling. To this end, we introduce Epi2Diff (Episode to Difficulty), a framework that maps LRM reasoning traces into cognitively grounded episode sequences. These episodes group trace segments into functional problem-solving states, enabling difficulty to be modeled through reasoning scale, effort allocation, and state transitions. Epi2Diff extracts compact episode-dynamic features and combines them with semantic item representations for human difficulty prediction. Experiments on four real-world human difficulty datasets show that Epi2Diff consistently outperforms strong baselines, including fine-tuned small language models, LLM in-context learning, and supervised LLM adaptation. On SAT-derived classification benchmarks, Epi2Diff achieves an 8.1% average relative gain over supervised LLM fine-tuning baselines. Further analyses show that harder items induce more effortful, iterative, and implementation-centered episode dynamics, rather than merely longer responses. These results demonstrate that cognitive episodes in LRM reasoning traces provide a predictive and interpretable process representation for human item difficulty, offering a new lens for educational measurement with reasoning models.