Sesgos geopolíticos en los LLM: ¿cuáles son los países "buenos" y "malos" según los modelos de lenguaje contemporáneos?
Geopolitical biases in LLMs: what are the "good" and the "bad" countries according to contemporary language models
June 7, 2025
Autores: Mikhail Salnikov, Dmitrii Korzh, Ivan Lazichny, Elvir Karimov, Artyom Iudin, Ivan Oseledets, Oleg Y. Rogov, Alexander Panchenko, Natalia Loukachevitch, Elena Tutubalina
cs.AI
Resumen
Este artículo evalúa los sesgos geopolíticos en los modelos de lenguaje de gran escala (LLMs) con respecto a varios países mediante un análisis de su interpretación de eventos históricos con perspectivas nacionales conflictivas (EE. UU., Reino Unido, URSS y China). Introducimos un nuevo conjunto de datos con descripciones neutrales de eventos y puntos de vista contrastantes de diferentes países. Nuestros hallazgos muestran sesgos geopolíticos significativos, con modelos que favorecen narrativas nacionales específicas. Además, las indicaciones simples para reducir el sesgo tuvieron un efecto limitado en la disminución de estos sesgos. Los experimentos con etiquetas de participantes manipuladas revelan la sensibilidad de los modelos a la atribución, a veces amplificando los sesgos o reconociendo inconsistencias, especialmente con etiquetas intercambiadas. Este trabajo destaca los sesgos en las narrativas nacionales en los LLMs, cuestiona la efectividad de los métodos simples para reducir el sesgo y ofrece un marco y un conjunto de datos para futuras investigaciones sobre sesgos geopolíticos.
English
This paper evaluates geopolitical biases in LLMs with respect to various
countries though an analysis of their interpretation of historical events with
conflicting national perspectives (USA, UK, USSR, and China). We introduce a
novel dataset with neutral event descriptions and contrasting viewpoints from
different countries. Our findings show significant geopolitical biases, with
models favoring specific national narratives. Additionally, simple debiasing
prompts had a limited effect in reducing these biases. Experiments with
manipulated participant labels reveal models' sensitivity to attribution,
sometimes amplifying biases or recognizing inconsistencies, especially with
swapped labels. This work highlights national narrative biases in LLMs,
challenges the effectiveness of simple debiasing methods, and offers a
framework and dataset for future geopolitical bias research.