Posición de Incertidumbre: Un Estudio Translingüístico del Sesgo Posicional en Modelos de Lenguaje a Gran Escala

Position of Uncertainty: A Cross-Linguistic Study of Positional Bias in Large Language Models

May 22, 2025

Autores: Menschikov Mikhail, Alexander Kharitonov, Maiia Kotyga, Vadim Porvatov, Anna Zhukovskaya, David Kagramanyan, Egor Shvetsov, Evgeny Burnaev

cs.AI

Resumen

Los modelos de lenguaje de gran escala exhiben sesgo posicional —una negligencia sistemática de la información en posiciones específicas del contexto—, sin embargo, su interacción con la diversidad lingüística sigue siendo poco comprendida. Presentamos un estudio translingüístico en cinco lenguas tipológicamente distintas (inglés, ruso, alemán, hindi, vietnamita), examinando cómo el sesgo posicional interactúa con la incertidumbre del modelo, la sintaxis y el prompting. Hallazgos clave: (1) El sesgo posicional está impulsado por el modelo, con variaciones específicas del idioma —Qwen2.5-7B favorece las posiciones tardías, desafiando las suposiciones de sesgo hacia los primeros tokens—; (2) La guía posicional explícita (por ejemplo, "el contexto correcto está en la posición X") reduce la precisión en todos los idiomas, socavando las prácticas de ingeniería de prompts; (3) Alinear el contexto con el sesgo posicional aumenta la entropía, aunque la entropía mínima no predice la precisión. (4) Además, descubrimos que los LLMs imponen de manera diferente el orden dominante de palabras en lenguas de orden libre como el hindi.

English

Large language models exhibit positional bias -- systematic neglect of information at specific context positions -- yet its interplay with linguistic diversity remains poorly understood. We present a cross-linguistic study across five typologically distinct languages (English, Russian, German, Hindi, Vietnamese), examining how positional bias interacts with model uncertainty, syntax, and prompting. Key findings: (1) Positional bias is model-driven, with language-specific variations -- Qwen2.5-7B favors late positions, challenging assumptions of early-token bias; (2) Explicit positional guidance (e.g., correct context is at position X) reduces accuracy across languages, undermining prompt-engineering practices; (3) Aligning context with positional bias increases entropy, yet minimal entropy does not predict accuracy. (4) We further uncover that LLMs differently impose dominant word order in free-word-order languages like Hindi.