Заблудившиеся в порядке промптов: раскрытие ограничений каузального внимания в языковых моделях

Lost in the Prompt Order: Revealing the Limitations of Causal Attention in Language Models

January 20, 2026

Авторы: Hyunjong Ok, Jaeho Lee

cs.AI

Аннотация

Крупные языковые модели демонстрируют удивительную чувствительность к структуре промпта, однако механизмы, лежащие в основе этой чувствительности, остаются малоизученными. В данной работе мы проводим углубленное исследование на ярком примере: при ответах на вопросы с множественным выбором размещение контекста перед вопросами и вариантами ответов (КВВ) превосходит обратный порядок (ВВК) более чем на 14 процентных пунктов, что стабильно наблюдается для широкого спектра моделей и наборов данных. Посредством системного архитектурного анализа мы идентифицируем причинно-следственную механику внимания как ключевой механизм: в промптах формата ВВК причинная маска предотвращает взаимодействие токенов вариантов ответа с контекстом, создавая информационное узкое место, при котором контекст становится невидимым для вариантов.

English

Large language models exhibit surprising sensitivity to the structure of the prompt, but the mechanisms underlying this sensitivity remain poorly understood. In this work, we conduct an in-depth investigation on a striking case: in multiple-choice question answering, placing context before the questions and options (CQO) outperforms the reverse order (QOC) by over 14%p, consistently over a wide range of models and datasets. Through systematic architectural analysis, we identify causal attention as the core mechanism: in QOC prompts, the causal mask prevents option tokens from attending to context, creating an information bottleneck where context becomes invisible to options.