Position d'incertitude : Une étude interlinguistique des biais positionnels dans les grands modèles de langage

Position of Uncertainty: A Cross-Linguistic Study of Positional Bias in Large Language Models

May 22, 2025

Auteurs: Menschikov Mikhail, Alexander Kharitonov, Maiia Kotyga, Vadim Porvatov, Anna Zhukovskaya, David Kagramanyan, Egor Shvetsov, Evgeny Burnaev

cs.AI

Résumé

Les grands modèles de langage présentent un biais positionnel -- une négligence systématique de l'information à des positions spécifiques dans le contexte --, mais son interaction avec la diversité linguistique reste mal comprise. Nous présentons une étude interlinguistique portant sur cinq langues typologiquement distinctes (anglais, russe, allemand, hindi, vietnamien), examinant comment le biais positionnel interagit avec l'incertitude du modèle, la syntaxe et l'incitation (prompting). Principaux résultats : (1) Le biais positionnel est piloté par le modèle, avec des variations spécifiques à la langue -- Qwen2.5-7B favorise les positions tardives, remettant en question l'hypothèse d'un biais en faveur des premiers tokens ; (2) Un guidage positionnel explicite (par exemple, "le contexte correct est à la position X") réduit la précision dans toutes les langues, sapant les pratiques d'ingénierie des prompts ; (3) L'alignement du contexte avec le biais positionnel augmente l'entropie, mais une entropie minimale ne prédit pas la précision. (4) Nous découvrons en outre que les LLM imposent différemment l'ordre dominant des mots dans les langues à ordre libre comme le hindi.

English

Large language models exhibit positional bias -- systematic neglect of information at specific context positions -- yet its interplay with linguistic diversity remains poorly understood. We present a cross-linguistic study across five typologically distinct languages (English, Russian, German, Hindi, Vietnamese), examining how positional bias interacts with model uncertainty, syntax, and prompting. Key findings: (1) Positional bias is model-driven, with language-specific variations -- Qwen2.5-7B favors late positions, challenging assumptions of early-token bias; (2) Explicit positional guidance (e.g., correct context is at position X) reduces accuracy across languages, undermining prompt-engineering practices; (3) Aligning context with positional bias increases entropy, yet minimal entropy does not predict accuracy. (4) We further uncover that LLMs differently impose dominant word order in free-word-order languages like Hindi.