무표지 전략 하에서 정확도와 순서 민감도는 서로 갈라진다.

초록

객관식 벤치마크는 대규모 언어 모델을 평가하는 데 널리 사용되지만, 객관식 점수는 지식과 선택지 순서에 대한 민감도를 혼동하여 모델 지식의 신뢰할 수 있는 측정 지표가 되지 못한다. 본 논문에서는 모델이 답변을 확정하는 동안 선택지 레이블을 보지 못하게 함으로써 위치 영향력을 제거하고, 그 결과 성능이 향상되는지를 검증한다. 우리는 편향을 완화하기 위한 두 가지 전략을 평가한다. 첫 번째는 생성-후-매칭 접근법을 사용하고, 두 번째는 설계상 위치 편향이 없는 방식으로 선택지를 개별적으로 평가한다. 두 전략 모두 정확도를 안정적으로 향상시키지 못한다. 완전한 분해 분석은 병목 현상이 매칭 단계가 아니라 선택지 제시 생략에 있음을 보여준다. 기준선과 일관되게 일치하는 유일한 구성은 LLM 매처와 함께 모든 선택지를 모델에 제시하는 방식이다. 그러나 위치 영향력을 완전히 제거하더라도 정확도 향상이 안정적으로 나타나지 않으며, 오히려 순환 순열이 정확도를 개선하는 경우가 많다. 2단계 프롬프팅의 경우, 재현율 불균형의 종합 지표와 질문별 순서 민감도의 직접 측정 모두 편향 제거 효과를 안정적으로 입증하지 못한다.

English

Multiple-choice benchmarks are widely used to evaluate large language models, but MCQ scores conflate knowledge with sensitivity to option order, which makes them unreliable measures of model knowledge. In this paper, we test whether preventing a model from seeing option labels while committing to an answer removes positional influence and, in turn, improves performance. We evaluate two different strategies for mitigating bias. The first uses a generation-then-matching approach, and the second scores options in isolation, which is positionally unbiased by construction. Neither reliably improves accuracy. A complete decomposition shows that the bottleneck is withholding options, not the matching step. The only configuration that consistently matches the baseline is the one that shows the model all options paired with an LLM matcher. However, eliminating positional influence entirely still does not reliably yield accuracy gains, while cyclic permutation often improves them. For two-stage prompting, an aggregate measure of recall imbalance and a direct per-question measure of order sensitivity both fail to show reliable debiasing.