Perdus dans l'ordre des invites : Révéler les limites de l'attention causale dans les modèles de langage

Lost in the Prompt Order: Revealing the Limitations of Causal Attention in Language Models

January 20, 2026

papers.authors: Hyunjong Ok, Jaeho Lee

cs.AI

papers.abstract

Les grands modèles de langage présentent une sensibilité surprenante à la structure des prompts, mais les mécanismes sous-jacents à cette sensibilité restent mal compris. Dans ce travail, nous menons une investigation approfondie d'un cas frappant : dans les questions à choix multiples, le fait de placer le contexte avant les questions et options (CQO) surpasse l'ordre inverse (QOC) de plus de 14 points de pourcentage, de manière constante sur un large éventail de modèles et de jeux de données. Par une analyse architecturale systématique, nous identifions l'attention causale comme mécanisme central : dans les prompts QOC, le masque causal empêche les tokens d'options d'accéder au contexte, créant un goulot d'étranglement informationnel où le contexte devient invisible pour les options.

English

Large language models exhibit surprising sensitivity to the structure of the prompt, but the mechanisms underlying this sensitivity remain poorly understood. In this work, we conduct an in-depth investigation on a striking case: in multiple-choice question answering, placing context before the questions and options (CQO) outperforms the reverse order (QOC) by over 14%p, consistently over a wide range of models and datasets. Through systematic architectural analysis, we identify causal attention as the core mechanism: in QOC prompts, the causal mask prevents option tokens from attending to context, creating an information bottleneck where context becomes invisible to options.