Vieses geopolíticos em LLMs: quais são os países "bons" e "ruins" de acordo com os modelos de linguagem contemporâneos

Geopolitical biases in LLMs: what are the "good" and the "bad" countries according to contemporary language models

June 7, 2025

Autores: Mikhail Salnikov, Dmitrii Korzh, Ivan Lazichny, Elvir Karimov, Artyom Iudin, Ivan Oseledets, Oleg Y. Rogov, Alexander Panchenko, Natalia Loukachevitch, Elena Tutubalina

cs.AI

Resumo

Este artigo avalia os vieses geopolíticos em LLMs (Large Language Models) em relação a diversos países por meio de uma análise de sua interpretação de eventos históricos com perspectivas nacionais conflitantes (EUA, Reino Unido, URSS e China). Introduzimos um novo conjunto de dados com descrições neutras de eventos e pontos de vista contrastantes de diferentes países. Nossos resultados mostram vieses geopolíticos significativos, com os modelos favorecendo narrativas nacionais específicas. Além disso, prompts simples de redução de viés tiveram um efeito limitado na diminuição desses vieses. Experimentos com rótulos de participantes manipulados revelam a sensibilidade dos modelos à atribuição, às vezes amplificando vieses ou reconhecendo inconsistências, especialmente com rótulos trocados. Este trabalho destaca os vieses de narrativas nacionais em LLMs, desafia a eficácia de métodos simples de redução de viés e oferece um framework e um conjunto de dados para futuras pesquisas sobre vieses geopolíticos.

English

This paper evaluates geopolitical biases in LLMs with respect to various countries though an analysis of their interpretation of historical events with conflicting national perspectives (USA, UK, USSR, and China). We introduce a novel dataset with neutral event descriptions and contrasting viewpoints from different countries. Our findings show significant geopolitical biases, with models favoring specific national narratives. Additionally, simple debiasing prompts had a limited effect in reducing these biases. Experiments with manipulated participant labels reveal models' sensitivity to attribution, sometimes amplifying biases or recognizing inconsistencies, especially with swapped labels. This work highlights national narrative biases in LLMs, challenges the effectiveness of simple debiasing methods, and offers a framework and dataset for future geopolitical bias research.