Position der Unsicherheit: Eine sprachübergreifende Studie zu Positionsverzerrungen in großen Sprachmodellen

Position of Uncertainty: A Cross-Linguistic Study of Positional Bias in Large Language Models

May 22, 2025

Autoren: Menschikov Mikhail, Alexander Kharitonov, Maiia Kotyga, Vadim Porvatov, Anna Zhukovskaya, David Kagramanyan, Egor Shvetsov, Evgeny Burnaev

cs.AI

Zusammenfassung

Große Sprachmodelle zeigen eine Positionsverzerrung – eine systematische Vernachlässigung von Informationen an bestimmten Kontextpositionen –, doch ihr Zusammenspiel mit linguistischer Vielfalt ist noch weitgehend unverstanden. Wir präsentieren eine sprachübergreifende Studie über fünf typologisch unterschiedliche Sprachen (Englisch, Russisch, Deutsch, Hindi, Vietnamesisch), die untersucht, wie Positionsverzerrung mit Modellunsicherheit, Syntax und Prompting interagiert. Wichtige Erkenntnisse: (1) Positionsverzerrung ist modellgetrieben und zeigt sprachspezifische Variationen – Qwen2.5-7B bevorzugt späte Positionen, was Annahmen einer frühen Token-Verzerrung herausfordert; (2) Explizite Positionsanweisungen (z. B. der korrekte Kontext befindet sich an Position X) verringern die Genauigkeit über alle Sprachen hinweg und untergängigen Prompt-Engineering-Praktiken; (3) Die Ausrichtung des Kontexts an der Positionsverzerrung erhöht die Entropie, doch minimale Entropie sagt keine Genauigkeit voraus. (4) Wir zeigen weiterhin, dass LLMs in freien Wortstellungssprachen wie Hindi unterschiedlich dominante Wortordnungen auferlegen.

English

Large language models exhibit positional bias -- systematic neglect of information at specific context positions -- yet its interplay with linguistic diversity remains poorly understood. We present a cross-linguistic study across five typologically distinct languages (English, Russian, German, Hindi, Vietnamese), examining how positional bias interacts with model uncertainty, syntax, and prompting. Key findings: (1) Positional bias is model-driven, with language-specific variations -- Qwen2.5-7B favors late positions, challenging assumptions of early-token bias; (2) Explicit positional guidance (e.g., correct context is at position X) reduces accuracy across languages, undermining prompt-engineering practices; (3) Aligning context with positional bias increases entropy, yet minimal entropy does not predict accuracy. (4) We further uncover that LLMs differently impose dominant word order in free-word-order languages like Hindi.