Posição de Incerteza: Um Estudo Translinguístico do Viés Posicional em Modelos de Linguagem de Grande Escala
Position of Uncertainty: A Cross-Linguistic Study of Positional Bias in Large Language Models
May 22, 2025
Autores: Menschikov Mikhail, Alexander Kharitonov, Maiia Kotyga, Vadim Porvatov, Anna Zhukovskaya, David Kagramanyan, Egor Shvetsov, Evgeny Burnaev
cs.AI
Resumo
Modelos de linguagem de grande escala exibem viés posicional — uma negligência sistemática de informações em posições específicas do contexto —, mas sua interação com a diversidade linguística ainda é pouco compreendida. Apresentamos um estudo translinguístico em cinco idiomas tipologicamente distintos (inglês, russo, alemão, hindi e vietnamita), examinando como o viés posicional interage com a incerteza do modelo, a sintaxe e o *prompting*. Principais descobertas: (1) O viés posicional é impulsionado pelo modelo, com variações específicas por idioma — o Qwen2.5-7B favorece posições tardias, desafiando suposições de viés em tokens iniciais; (2) A orientação posicional explícita (por exemplo, "o contexto correto está na posição X") reduz a precisão em todos os idiomas, prejudicando práticas de engenharia de *prompts*; (3) Alinhar o contexto com o viés posicional aumenta a entropia, mas a entropia mínima não prevê a precisão. (4) Descobrimos ainda que os LLMs impõem de forma diferente a ordem dominante de palavras em idiomas de ordem livre, como o hindi.
English
Large language models exhibit positional bias -- systematic neglect of
information at specific context positions -- yet its interplay with linguistic
diversity remains poorly understood. We present a cross-linguistic study across
five typologically distinct languages (English, Russian, German, Hindi,
Vietnamese), examining how positional bias interacts with model uncertainty,
syntax, and prompting. Key findings: (1) Positional bias is model-driven, with
language-specific variations -- Qwen2.5-7B favors late positions, challenging
assumptions of early-token bias; (2) Explicit positional guidance (e.g.,
correct context is at position X) reduces accuracy across languages,
undermining prompt-engineering practices; (3) Aligning context with positional
bias increases entropy, yet minimal entropy does not predict accuracy. (4) We
further uncover that LLMs differently impose dominant word order in
free-word-order languages like Hindi.