Geopolitische Vorurteile in LLMs: Welche sind die „guten“ und die „schlechten“ Länder laut zeitgenössischen Sprachmodellen?

Geopolitical biases in LLMs: what are the "good" and the "bad" countries according to contemporary language models

June 7, 2025

Autoren: Mikhail Salnikov, Dmitrii Korzh, Ivan Lazichny, Elvir Karimov, Artyom Iudin, Ivan Oseledets, Oleg Y. Rogov, Alexander Panchenko, Natalia Loukachevitch, Elena Tutubalina

cs.AI

Zusammenfassung

Diese Arbeit untersucht geopolitische Verzerrungen in großen Sprachmodellen (LLMs) in Bezug auf verschiedene Länder durch eine Analyse ihrer Interpretation historischer Ereignisse mit widersprüchlichen nationalen Perspektiven (USA, Großbritannien, UdSSR und China). Wir stellen einen neuartigen Datensatz mit neutralen Ereignisbeschreibungen und kontrastierenden Standpunkten aus verschiedenen Ländern vor. Unsere Ergebnisse zeigen signifikante geopolitische Verzerrungen, wobei die Modelle bestimmte nationale Narrative bevorzugen. Einfache Entzerrungs-Prompts hatten nur begrenzte Wirkung bei der Reduzierung dieser Verzerrungen. Experimente mit manipulierten Teilnehmerlabels offenbaren die Sensitivität der Modelle gegenüber Zuschreibungen, wobei Verzerrungen manchmal verstärkt oder Inkonsistenzen erkannt werden, insbesondere bei vertauschten Labels. Diese Arbeit beleuchtet nationale narrative Verzerrungen in LLMs, hinterfragt die Wirksamkeit einfacher Entzerrungsmethoden und bietet einen Rahmen sowie einen Datensatz für zukünftige Forschung zu geopolitischen Verzerrungen.

English

This paper evaluates geopolitical biases in LLMs with respect to various countries though an analysis of their interpretation of historical events with conflicting national perspectives (USA, UK, USSR, and China). We introduce a novel dataset with neutral event descriptions and contrasting viewpoints from different countries. Our findings show significant geopolitical biases, with models favoring specific national narratives. Additionally, simple debiasing prompts had a limited effect in reducing these biases. Experiments with manipulated participant labels reveal models' sensitivity to attribution, sometimes amplifying biases or recognizing inconsistencies, especially with swapped labels. This work highlights national narrative biases in LLMs, challenges the effectiveness of simple debiasing methods, and offers a framework and dataset for future geopolitical bias research.