Позиция неопределенности: кросс-лингвистическое исследование позиционного смещения в крупных языковых моделях

Position of Uncertainty: A Cross-Linguistic Study of Positional Bias in Large Language Models

May 22, 2025

Авторы: Menschikov Mikhail, Alexander Kharitonov, Maiia Kotyga, Vadim Porvatov, Anna Zhukovskaya, David Kagramanyan, Egor Shvetsov, Evgeny Burnaev

cs.AI

Аннотация

Крупные языковые модели демонстрируют позиционное смещение — систематическое игнорирование информации на определённых позициях в контексте, — однако его взаимодействие с лингвистическим разнообразием остаётся малоизученным. Мы представляем кросс-лингвистическое исследование на примере пяти типологически различных языков (английский, русский, немецкий, хинди, вьетнамский), изучая, как позиционное смещение взаимодействует с неопределённостью модели, синтаксисом и формулировкой запросов. Основные выводы: (1) Позиционное смещение определяется моделью и варьируется в зависимости от языка — Qwen2.5-7B предпочитает поздние позиции, что противоречит предположениям о смещении в сторону ранних токенов; (2) Явное указание позиций (например, правильный контекст находится на позиции X) снижает точность для всех языков, подрывая практики инженерии запросов; (3) Согласование контекста с позиционным смещением увеличивает энтропию, однако минимальная энтропия не предсказывает точность. (4) Мы также обнаружили, что языковые модели по-разному навязывают доминирующий порядок слов в языках со свободным порядком слов, таких как хинди.

English

Large language models exhibit positional bias -- systematic neglect of information at specific context positions -- yet its interplay with linguistic diversity remains poorly understood. We present a cross-linguistic study across five typologically distinct languages (English, Russian, German, Hindi, Vietnamese), examining how positional bias interacts with model uncertainty, syntax, and prompting. Key findings: (1) Positional bias is model-driven, with language-specific variations -- Qwen2.5-7B favors late positions, challenging assumptions of early-token bias; (2) Explicit positional guidance (e.g., correct context is at position X) reduces accuracy across languages, undermining prompt-engineering practices; (3) Aligning context with positional bias increases entropy, yet minimal entropy does not predict accuracy. (4) We further uncover that LLMs differently impose dominant word order in free-word-order languages like Hindi.