不確実性の位置：大規模言語モデルにおける位置バイアスの言語横断的研究

Position of Uncertainty: A Cross-Linguistic Study of Positional Bias in Large Language Models

May 22, 2025

著者: Menschikov Mikhail, Alexander Kharitonov, Maiia Kotyga, Vadim Porvatov, Anna Zhukovskaya, David Kagramanyan, Egor Shvetsov, Evgeny Burnaev

cs.AI

要旨

大規模言語モデルは位置バイアスを示す――特定の文脈位置における情報の体系的な無視――しかし、それが言語的多様性とどのように相互作用するかは十分に理解されていない。本研究では、類型論的に異なる5つの言語（英語、ロシア語、ドイツ語、ヒンディー語、ベトナム語）にわたる横断的研究を行い、位置バイアスがモデルの不確実性、構文、プロンプティングとどのように相互作用するかを検証した。主な発見は以下の通りである：(1) 位置バイアスはモデル駆動であり、言語固有の変異が見られる――Qwen2.5-7Bは後方の位置を好み、初期トークンへのバイアスという仮定に挑戦する；(2) 明示的な位置ガイダンス（例：正しい文脈は位置Xにある）は言語を問わず精度を低下させ、プロンプトエンジニアリングの実践を損なう；(3) 文脈を位置バイアスに合わせるとエントロピーが増加するが、最小エントロピーは精度を予測しない；(4) さらに、LLMはヒンディー語のような自由語順言語において支配的な語順を異なる方法で課すことが明らかになった。

English

Large language models exhibit positional bias -- systematic neglect of information at specific context positions -- yet its interplay with linguistic diversity remains poorly understood. We present a cross-linguistic study across five typologically distinct languages (English, Russian, German, Hindi, Vietnamese), examining how positional bias interacts with model uncertainty, syntax, and prompting. Key findings: (1) Positional bias is model-driven, with language-specific variations -- Qwen2.5-7B favors late positions, challenging assumptions of early-token bias; (2) Explicit positional guidance (e.g., correct context is at position X) reduces accuracy across languages, undermining prompt-engineering practices; (3) Aligning context with positional bias increases entropy, yet minimal entropy does not predict accuracy. (4) We further uncover that LLMs differently impose dominant word order in free-word-order languages like Hindi.