プロンプト順序の迷宮：言語モデルにおける因果的注意機構の限界の解明

Lost in the Prompt Order: Revealing the Limitations of Causal Attention in Language Models

January 20, 2026

著者: Hyunjong Ok, Jaeho Lee

cs.AI

要旨

大規模言語モデルはプロンプトの構造に対して驚くべき感受性を示すが、この感受性の背後にあるメカニズムは未だ十分に解明されていない。本研究では、多肢選択式質問応答において、文脈を質問と選択肢の前に配置する形式（CQO）が、逆の順序（QOC）を14%ポイント以上上回る性能を示すという顕著な事例について詳細に調査する。この現象は様々なモデルとデータセットで一貫して観察される。体系的アーキテクチャ分析を通じて、因果的注意機構が中核メカニズムであることを特定した：QOCプロンプトでは、因果マスクが選択肢トークンの文脈への注意を妨げ、文脈が選択肢から見えなくなる情報ボトルネックが生じる。

English

Large language models exhibit surprising sensitivity to the structure of the prompt, but the mechanisms underlying this sensitivity remain poorly understood. In this work, we conduct an in-depth investigation on a striking case: in multiple-choice question answering, placing context before the questions and options (CQO) outperforms the reverse order (QOC) by over 14%p, consistently over a wide range of models and datasets. Through systematic architectural analysis, we identify causal attention as the core mechanism: in QOC prompts, the causal mask prevents option tokens from attending to context, creating an information bottleneck where context becomes invisible to options.