프롬프트 순서의 함정: 언어 모델에서 인과적 어텐션의 한계 밝히기

Lost in the Prompt Order: Revealing the Limitations of Causal Attention in Language Models

January 20, 2026

저자: Hyunjong Ok, Jaeho Lee

cs.AI

초록

대규모 언어 모델은 프롬프트 구조에 대해 놀라울 정도로 민감하게 반응하지만, 이러한 민감성의 작동 메커니즘은 아직 명확히 이해되지 않고 있습니다. 본 연구에서는 한 가지 두드러진 사례를 심층적으로 조사합니다: 객관식 질문 응답에서 맥락을 질문과 선택지 앞에 배치하는(CQO) 방식이 그 반대 순서(QOC)보다 14%p 이상 높은 성능을 보이며, 이러한 현상은 다양한 모델과 데이터셋에서 일관되게 관찰됩니다. 체계적인 아키텍처 분석을 통해 우리는 인과적 어텐션(causal attention)이 핵심 메커니즘임을 규명했습니다: QOC 프롬프트에서는 인과적 마스크가 선택지 토큰들이 맥락에 주의를 기울이는 것을 방해하여, 선택지가 맥락을 인식할 수 없는 정보 병목 현상을 생성합니다.

English

Large language models exhibit surprising sensitivity to the structure of the prompt, but the mechanisms underlying this sensitivity remain poorly understood. In this work, we conduct an in-depth investigation on a striking case: in multiple-choice question answering, placing context before the questions and options (CQO) outperforms the reverse order (QOC) by over 14%p, consistently over a wide range of models and datasets. Through systematic architectural analysis, we identify causal attention as the core mechanism: in QOC prompts, the causal mask prevents option tokens from attending to context, creating an information bottleneck where context becomes invisible to options.