Kognitive Episoden in Argumentationsspuren von LLMs ermöglichen interpretierbare Vorhersagen der Aufgabenschwierigkeit für Menschen

Zusammenfassung

Die Vorhersage der menschlichen Aufgabenschwierigkeit ist zentral für die Bildungsbewertung, wo zuverlässige Schätzungen Fairness und effektive Testkonstruktion unterstützen. Bestehende Methoden beruhen oft auf kostspieliger menschlicher Kalibrierung oder aufgabenbezogenen Textrepräsentationen, die nur begrenzte Hinweise auf die kognitiven Prozesse liefern, die Aufgaben schwierig machen. Wir argumentieren, dass Schwierigkeit nicht nur als Eigenschaft des Aufgabentextes, sondern auch als beobachtbare Konsequenz der Problemlösungslast betrachtet werden sollte, die eine Aufgabe mit sich bringt. Große Reasoning-Modelle (LRMs) bieten durch Reasoning-Traces skalierbare Prozessbelege, aber solche Belege müssen strukturiert werden, um interpretierbare Modellierung zu unterstützen. Zu diesem Zweck führen wir Epi2Diff (Episode to Difficulty) ein, ein Framework, das LRM-Reasoning-Traces in kognitiv fundierte Episodensequenzen abbildet. Diese Episoden gruppieren Trace-Segmente in funktionale Problemlösungszustände und ermöglichen es, Schwierigkeit über Reasoning-Umfang, Aufwandsverteilung und Zustandsübergänge zu modellieren. Epi2Diff extrahiert kompakte episodendynamische Merkmale und kombiniert sie mit semantischen Aufgabenrepräsentationen für die Vorhersage menschlicher Schwierigkeit. Experimente mit vier realen Datensätzen zur menschlichen Schwierigkeit zeigen, dass Epi2Diff durchweg starke Baselines übertrifft, darunter feinabgestimmte kleine Sprachmodelle, LLM-In-Context-Learning und überwachte LLM-Adaption. Bei SAT-abgeleiteten Klassifikationsbenchmarks erzielt Epi2Diff einen durchschnittlichen relativen Gewinn von 8,1 % gegenüber überwachten LLM-Feintuning-Baselines. Weitere Analysen zeigen, dass schwierigere Aufgaben aufwändigere, iterativere und implementationszentriertere Episodendynamiken hervorrufen, anstatt lediglich längere Antworten. Diese Ergebnisse zeigen, dass kognitive Episoden in LRM-Reasoning-Traces eine vorhersagbare und interpretierbare Prozessrepräsentation für die menschliche Aufgabenschwierigkeit bieten und eine neue Perspektive für die Bildungsmessung mit Reasoning-Modellen eröffnen.

English

Predicting human item difficulty is central to educational assessment, where reliable estimates support fairness and effective test construction. Existing methods often depend on costly human calibration or item-level textual representations, providing limited evidence about the cognitive processes that make items difficult. We argue that difficulty should be viewed not only as a property of item text, but also as an observable consequence of the problem-solving burden an item induces. Large Reasoning Models (LRMs) offer scalable process evidence through reasoning traces, but such evidence must be structured to support interpretable modeling. To this end, we introduce Epi2Diff (Episode to Difficulty), a framework that maps LRM reasoning traces into cognitively grounded episode sequences. These episodes group trace segments into functional problem-solving states, enabling difficulty to be modeled through reasoning scale, effort allocation, and state transitions. Epi2Diff extracts compact episode-dynamic features and combines them with semantic item representations for human difficulty prediction. Experiments on four real-world human difficulty datasets show that Epi2Diff consistently outperforms strong baselines, including fine-tuned small language models, LLM in-context learning, and supervised LLM adaptation. On SAT-derived classification benchmarks, Epi2Diff achieves an 8.1% average relative gain over supervised LLM fine-tuning baselines. Further analyses show that harder items induce more effortful, iterative, and implementation-centered episode dynamics, rather than merely longer responses. These results demonstrate that cognitive episodes in LRM reasoning traces provide a predictive and interpretable process representation for human item difficulty, offering a new lens for educational measurement with reasoning models.