LLM 추론 흔적 내 인지 에피소드를 통한 해석 가능한 인간 항목 난이도 예측

초록

인간 문항 난이도를 예측하는 것은 교육 평가의 핵심 과제로, 신뢰할 수 있는 추정치는 공정성과 효과적인 검사 구성을 뒷받침한다. 기존 방법은 종종 비용이 많이 드는 인간 교정이나 문항 수준의 텍스트 표현에 의존하며, 문항을 어렵게 만드는 인지 과정에 대한 제한적인 증거만을 제공한다. 우리는 난이도가 단순히 문항 텍스트의 속성일 뿐만 아니라, 문항이 유발하는 문제 해결 부담의 관찰 가능한 결과로도 간주되어야 한다고 주장한다. 대규모 추론 모델(LRM)은 추론 흔적을 통해 확장 가능한 과정 증거를 제공하지만, 이러한 증거는 해석 가능한 모델링을 지원할 수 있도록 구조화되어야 한다. 이를 위해, 우리는 Epi2Diff(Episode to Difficulty) 프레임워크를 도입한다. 이 프레임워크는 LRM 추론 흔적을 인지적으로 기반을 둔 에피소드 시퀀스로 매핑한다. 이러한 에피소드는 추론 흔적의 세그먼트를 기능적 문제 해결 상태로 그룹화하여, 추론 규모, 노력 할당, 상태 전환을 통해 난이도를 모델링할 수 있게 한다. Epi2Diff는 간결한 에피소드-동역학 특징을 추출하고 이를 의미론적 문항 표현과 결합하여 인간 난이도를 예측한다. 네 개의 실제 인간 난이도 데이터셋에 대한 실험에서 Epi2Diff는 미세 조정된 소형 언어 모델, LLM 맥락 내 학습, 지도 학습 기반 LLM 적응을 포함한 강력한 기준선을 일관되게 능가한다. SAT 기반 분류 벤치마크에서 Epi2Diff는 지도 학습 기반 LLM 미세 조정 기준선 대비 평균 8.1%의 상대적 성능 향상을 달성한다. 추가 분석에 따르면, 더 어려운 문항은 단순히 더 긴 응답을 유발하는 것이 아니라, 더 많은 노력, 반복적이고 구현 중심적인 에피소드 동역학을 유발한다. 이러한 결과는 LRM 추론 흔적 내의 인지 에피소드가 인간 문항 난이도에 대한 예측 가능하고 해석 가능한 과정 표현을 제공함을 보여주며, 추론 모델을 활용한 교육 측정에 새로운 관점을 제시한다.

English

Predicting human item difficulty is central to educational assessment, where reliable estimates support fairness and effective test construction. Existing methods often depend on costly human calibration or item-level textual representations, providing limited evidence about the cognitive processes that make items difficult. We argue that difficulty should be viewed not only as a property of item text, but also as an observable consequence of the problem-solving burden an item induces. Large Reasoning Models (LRMs) offer scalable process evidence through reasoning traces, but such evidence must be structured to support interpretable modeling. To this end, we introduce Epi2Diff (Episode to Difficulty), a framework that maps LRM reasoning traces into cognitively grounded episode sequences. These episodes group trace segments into functional problem-solving states, enabling difficulty to be modeled through reasoning scale, effort allocation, and state transitions. Epi2Diff extracts compact episode-dynamic features and combines them with semantic item representations for human difficulty prediction. Experiments on four real-world human difficulty datasets show that Epi2Diff consistently outperforms strong baselines, including fine-tuned small language models, LLM in-context learning, and supervised LLM adaptation. On SAT-derived classification benchmarks, Epi2Diff achieves an 8.1% average relative gain over supervised LLM fine-tuning baselines. Further analyses show that harder items induce more effortful, iterative, and implementation-centered episode dynamics, rather than merely longer responses. These results demonstrate that cognitive episodes in LRM reasoning traces provide a predictive and interpretable process representation for human item difficulty, offering a new lens for educational measurement with reasoning models.