Biais géopolitiques dans les LLM : quels sont les « bons » et les « mauvais » pays selon les modèles de langage contemporains ?
Geopolitical biases in LLMs: what are the "good" and the "bad" countries according to contemporary language models
June 7, 2025
Auteurs: Mikhail Salnikov, Dmitrii Korzh, Ivan Lazichny, Elvir Karimov, Artyom Iudin, Ivan Oseledets, Oleg Y. Rogov, Alexander Panchenko, Natalia Loukachevitch, Elena Tutubalina
cs.AI
Résumé
Cet article évalue les biais géopolitiques dans les modèles de langage (LLMs) concernant divers pays à travers une analyse de leur interprétation d'événements historiques présentant des perspectives nationales conflictuelles (États-Unis, Royaume-Uni, URSS et Chine). Nous introduisons un nouveau jeu de données comprenant des descriptions neutres d'événements et des points de vue contrastés provenant de différents pays. Nos résultats révèlent des biais géopolitiques significatifs, les modèles privilégiant des récits nationaux spécifiques. De plus, des incitations simples visant à réduire ces biais ont eu un effet limité. Des expériences avec des étiquettes de participants manipulées montrent la sensibilité des modèles à l'attribution, amplifiant parfois les biais ou reconnaissant des incohérences, notamment avec des étiquettes échangées. Ce travail met en lumière les biais des récits nationaux dans les LLMs, remet en question l'efficacité des méthodes simples de réduction des biais et propose un cadre ainsi qu'un jeu de données pour de futures recherches sur les biais géopolitiques.
English
This paper evaluates geopolitical biases in LLMs with respect to various
countries though an analysis of their interpretation of historical events with
conflicting national perspectives (USA, UK, USSR, and China). We introduce a
novel dataset with neutral event descriptions and contrasting viewpoints from
different countries. Our findings show significant geopolitical biases, with
models favoring specific national narratives. Additionally, simple debiasing
prompts had a limited effect in reducing these biases. Experiments with
manipulated participant labels reveal models' sensitivity to attribution,
sometimes amplifying biases or recognizing inconsistencies, especially with
swapped labels. This work highlights national narrative biases in LLMs,
challenges the effectiveness of simple debiasing methods, and offers a
framework and dataset for future geopolitical bias research.