Posizione dell'Incertezza: Uno Studio Cross-Linguistico del Bias Posizionale nei Modelli Linguistici di Grande Scala
Position of Uncertainty: A Cross-Linguistic Study of Positional Bias in Large Language Models
May 22, 2025
Autori: Menschikov Mikhail, Alexander Kharitonov, Maiia Kotyga, Vadim Porvatov, Anna Zhukovskaya, David Kagramanyan, Egor Shvetsov, Evgeny Burnaev
cs.AI
Abstract
I grandi modelli linguistici mostrano un bias posizionale – una sistematica trascuratezza delle informazioni in specifiche posizioni del contesto – tuttavia la sua interazione con la diversità linguistica rimane poco compresa. Presentiamo uno studio cross-linguistico su cinque lingue tipologicamente distinte (inglese, russo, tedesco, hindi, vietnamita), esaminando come il bias posizionale interagisca con l'incertezza del modello, la sintassi e il prompting. Principali risultati: (1) Il bias posizionale è guidato dal modello, con variazioni specifiche per lingua – Qwen2.5-7B favorisce le posizioni tardive, sfidando le assunzioni di un bias verso i token iniziali; (2) Una guida posizionale esplicita (ad esempio, il contesto corretto è alla posizione X) riduce l'accuratezza attraverso le lingue, minando le pratiche di prompt-engineering; (3) Allineare il contesto con il bias posizionale aumenta l'entropia, tuttavia un'entropia minima non predice l'accuratezza. (4) Scopriamo inoltre che i LLM impongono diversamente l'ordine delle parole dominante in lingue con ordine libero delle parole come l'hindi.
English
Large language models exhibit positional bias -- systematic neglect of
information at specific context positions -- yet its interplay with linguistic
diversity remains poorly understood. We present a cross-linguistic study across
five typologically distinct languages (English, Russian, German, Hindi,
Vietnamese), examining how positional bias interacts with model uncertainty,
syntax, and prompting. Key findings: (1) Positional bias is model-driven, with
language-specific variations -- Qwen2.5-7B favors late positions, challenging
assumptions of early-token bias; (2) Explicit positional guidance (e.g.,
correct context is at position X) reduces accuracy across languages,
undermining prompt-engineering practices; (3) Aligning context with positional
bias increases entropy, yet minimal entropy does not predict accuracy. (4) We
further uncover that LLMs differently impose dominant word order in
free-word-order languages like Hindi.