불확실성의 위치: 대규모 언어 모델에서의 위치 편향에 대한 교차 언어 연구

Position of Uncertainty: A Cross-Linguistic Study of Positional Bias in Large Language Models

May 22, 2025

저자: Menschikov Mikhail, Alexander Kharitonov, Maiia Kotyga, Vadim Porvatov, Anna Zhukovskaya, David Kagramanyan, Egor Shvetsov, Evgeny Burnaev

cs.AI

초록

대규모 언어 모델은 위치 편향(positional bias)을 보이는데, 이는 특정 문맥 위치의 정보를 체계적으로 무시하는 현상을 말합니다. 그러나 이러한 편향이 언어적 다양성과 어떻게 상호작용하는지는 아직 잘 이해되지 않고 있습니다. 본 연구는 유형론적으로 구별되는 다섯 가지 언어(영어, 러시아어, 독일어, 힌디어, 베트남어)를 대상으로 위치 편향이 모델의 불확실성, 구문, 그리고 프롬프팅과 어떻게 상호작용하는지를 조사한 비교 언어학적 연구를 제시합니다. 주요 연구 결과는 다음과 같습니다: (1) 위치 편향은 모델에 의해 결정되며, 언어별로 변이가 존재합니다. 예를 들어, Qwen2.5-7B는 후반 위치를 선호하여 초기 토큰 편향이라는 가정에 도전합니다. (2) 명시적인 위치 안내(예: 정확한 문맥은 X 위치에 있음)는 모든 언어에서 정확도를 감소시켜 프롬프트 엔지니어링 관행을 약화시킵니다. (3) 문맥을 위치 편향에 맞추면 엔트로피가 증가하지만, 최소 엔트로피가 정확도를 예측하지는 않습니다. (4) 또한, LLM이 힌디어와 같은 자유 어순 언어에서 지배적인 어순을 다르게 적용한다는 점을 추가로 발견했습니다.

English

Large language models exhibit positional bias -- systematic neglect of information at specific context positions -- yet its interplay with linguistic diversity remains poorly understood. We present a cross-linguistic study across five typologically distinct languages (English, Russian, German, Hindi, Vietnamese), examining how positional bias interacts with model uncertainty, syntax, and prompting. Key findings: (1) Positional bias is model-driven, with language-specific variations -- Qwen2.5-7B favors late positions, challenging assumptions of early-token bias; (2) Explicit positional guidance (e.g., correct context is at position X) reduces accuracy across languages, undermining prompt-engineering practices; (3) Aligning context with positional bias increases entropy, yet minimal entropy does not predict accuracy. (4) We further uncover that LLMs differently impose dominant word order in free-word-order languages like Hindi.