ラベルフリー戦略下では精度と順序感度が乖離する

要旨

多肢選択ベンチマークは大規模言語モデルの評価に広く用いられているが、MCQスコアは知識と選択肢の順序に対する感度を混同しているため、モデルの知識の指標としては信頼性が低い。本論文では、回答を確定する際にモデルが選択肢ラベルを見ることを防ぐことで位置の影響が除去され、ひいては性能が向上するかどうかを検証する。バイアスを軽減するための2つの異なる戦略を評価する。1つ目は生成後照合（generation-then-matching）アプローチを用い、2つ目は選択肢を単独でスコアリングするものであり、これは構造上位置的に不偏である。どちらの戦略も確実に精度を向上させることはない。完全な分解により、ボトルネックは照合ステップではなく、選択肢を提示しないことにあることが示される。ベースラインと一貫して一致する唯一の構成は、モデルにすべての選択肢をLLMマッチャーと組み合わせて提示するものである。しかし、位置の影響を完全に排除しても確実な精度向上はもたらされず、一方で循環置換はしばしば精度を向上させる。2段階プロンプティングについては、再現率不均衡の集約指標と順序感度の質問ごとの直接指標のいずれも、信頼できるバイアス除去を示さない。

English

Multiple-choice benchmarks are widely used to evaluate large language models, but MCQ scores conflate knowledge with sensitivity to option order, which makes them unreliable measures of model knowledge. In this paper, we test whether preventing a model from seeing option labels while committing to an answer removes positional influence and, in turn, improves performance. We evaluate two different strategies for mitigating bias. The first uses a generation-then-matching approach, and the second scores options in isolation, which is positionally unbiased by construction. Neither reliably improves accuracy. A complete decomposition shows that the bottleneck is withholding options, not the matching step. The only configuration that consistently matches the baseline is the one that shows the model all options paired with an LLM matcher. However, eliminating positional influence entirely still does not reliably yield accuracy gains, while cyclic permutation often improves them. For two-stage prompting, an aggregate measure of recall imbalance and a direct per-question measure of order sensitivity both fail to show reliable debiasing.