Positie van Onzekerheid: Een Cross-Linguïstische Studie naar Positionele Bias in Grote Taalmodellen
Position of Uncertainty: A Cross-Linguistic Study of Positional Bias in Large Language Models
May 22, 2025
Auteurs: Menschikov Mikhail, Alexander Kharitonov, Maiia Kotyga, Vadim Porvatov, Anna Zhukovskaya, David Kagramanyan, Egor Shvetsov, Evgeny Burnaev
cs.AI
Samenvatting
Grote taalmodelen vertonen positionele bias — een systematische verwaarlozing van informatie op specifieke contextposities — maar de interactie ervan met taalkundige diversiteit blijft slecht begrepen. We presenteren een cross-linguïstische studie over vijf typologisch verschillende talen (Engels, Russisch, Duits, Hindi, Vietnamees), waarin we onderzoeken hoe positionele bias samenhangt met modelonzekerheid, syntaxis en prompting. Belangrijke bevindingen: (1) Positionele bias wordt gedreven door het model, met taal-specifieke variaties — Qwen2.5-7B geeft de voorkeur aan late posities, wat aannames over early-token bias uitdaagt; (2) Expliciete positionele begeleiding (bijv., de juiste context bevindt zich op positie X) vermindert de nauwkeurigheid over alle talen, wat prompt-engineeringpraktijken ondermijnt; (3) Het afstemmen van de context op positionele bias verhoogt de entropie, maar minimale entropie voorspelt niet de nauwkeurigheid. (4) We ontdekken verder dat LLMs op verschillende manieren een dominante woordvolgorde opleggen in talen met vrije woordvolgorde, zoals Hindi.
English
Large language models exhibit positional bias -- systematic neglect of
information at specific context positions -- yet its interplay with linguistic
diversity remains poorly understood. We present a cross-linguistic study across
five typologically distinct languages (English, Russian, German, Hindi,
Vietnamese), examining how positional bias interacts with model uncertainty,
syntax, and prompting. Key findings: (1) Positional bias is model-driven, with
language-specific variations -- Qwen2.5-7B favors late positions, challenging
assumptions of early-token bias; (2) Explicit positional guidance (e.g.,
correct context is at position X) reduces accuracy across languages,
undermining prompt-engineering practices; (3) Aligning context with positional
bias increases entropy, yet minimal entropy does not predict accuracy. (4) We
further uncover that LLMs differently impose dominant word order in
free-word-order languages like Hindi.