Verloren in der Reihenfolge der Prompts: Aufdeckung der Grenzen kausaler Aufmerksamkeit in Sprachmodellen

Lost in the Prompt Order: Revealing the Limitations of Causal Attention in Language Models

January 20, 2026

papers.authors: Hyunjong Ok, Jaeho Lee

cs.AI

papers.abstract

Große Sprachmodelle zeigen eine überraschende Empfindlichkeit gegenüber der Struktur der Eingabeaufforderung, doch die Mechanismen, die dieser Empfindlichkeit zugrunde liegen, sind nach wie vor nur unzureichend verstanden. In dieser Arbeit führen wir eine eingehende Untersuchung eines auffälligen Falls durch: Bei der Beantwortung von Multiple-Choice-Fragen erzielt die Platzierung des Kontextes vor den Fragen und Optionen (CQO) durchgängig eine um über 14 Prozentpunkte höhere Leistung als die umgekehrte Reihenfolge (QOC), und dies über eine Vielzahl von Modellen und Datensätzen hinweg. Durch eine systematische Architekturanalyse identifizieren wir kausale Aufmerksamkeit als den zentralen Mechanismus: In QOC-Eingabeaufforderungen verhindert die kausale Maske, dass Optionstokens auf den Kontext zugreifen, was zu einem Informationsengpass führt, bei dem der Kontext für die Optionen unsichtbar wird.

English

Large language models exhibit surprising sensitivity to the structure of the prompt, but the mechanisms underlying this sensitivity remain poorly understood. In this work, we conduct an in-depth investigation on a striking case: in multiple-choice question answering, placing context before the questions and options (CQO) outperforms the reverse order (QOC) by over 14%p, consistently over a wide range of models and datasets. Through systematic architectural analysis, we identify causal attention as the core mechanism: in QOC prompts, the causal mask prevents option tokens from attending to context, creating an information bottleneck where context becomes invisible to options.