Perdidos en el Orden del Prompt: Revelando las Limitaciones de la Atención Causal en Modelos de Lenguaje

Lost in the Prompt Order: Revealing the Limitations of Causal Attention in Language Models

January 20, 2026

Autores: Hyunjong Ok, Jaeho Lee

cs.AI

Resumen

Los modelos de lenguaje grandes muestran una sorprendente sensibilidad a la estructura del prompt, pero los mecanismos subyacentes a esta sensibilidad siguen siendo poco comprendidos. En este trabajo, realizamos una investigación en profundidad sobre un caso llamativo: en la respuesta a preguntas de opción múltiple, colocar el contexto antes de las preguntas y opciones (CPO) supera al orden inverso (OPC) en más de 14 puntos porcentuales, de manera consistente en una amplia gama de modelos y conjuntos de datos. Mediante un análisis arquitectónico sistemático, identificamos la atención causal como el mecanismo central: en los prompts OPC, la máscara causal impide que los tokens de las opciones atiendan al contexto, creando un cuello de botella de información donde el contexto se vuelve invisible para las opciones.

English

Large language models exhibit surprising sensitivity to the structure of the prompt, but the mechanisms underlying this sensitivity remain poorly understood. In this work, we conduct an in-depth investigation on a striking case: in multiple-choice question answering, placing context before the questions and options (CQO) outperforms the reverse order (QOC) by over 14%p, consistently over a wide range of models and datasets. Through systematic architectural analysis, we identify causal attention as the core mechanism: in QOC prompts, the causal mask prevents option tokens from attending to context, creating an information bottleneck where context becomes invisible to options.