Pregiudizi geopolitici nei LLM: quali sono i paesi "buoni" e "cattivi" secondo i modelli linguistici contemporanei

Geopolitical biases in LLMs: what are the "good" and the "bad" countries according to contemporary language models

June 7, 2025

Autori: Mikhail Salnikov, Dmitrii Korzh, Ivan Lazichny, Elvir Karimov, Artyom Iudin, Ivan Oseledets, Oleg Y. Rogov, Alexander Panchenko, Natalia Loukachevitch, Elena Tutubalina

cs.AI

Abstract

Questo articolo valuta i pregiudizi geopolitici nei modelli linguistici di grandi dimensioni (LLM) rispetto a vari paesi attraverso un'analisi della loro interpretazione di eventi storici con prospettive nazionali contrastanti (USA, Regno Unito, URSS e Cina). Introduciamo un nuovo dataset con descrizioni neutre di eventi e punti di vista contrastanti provenienti da diversi paesi. I nostri risultati mostrano pregiudizi geopolitici significativi, con i modelli che favoriscono narrazioni nazionali specifiche. Inoltre, semplici prompt di debiasing hanno avuto un effetto limitato nel ridurre questi pregiudizi. Esperimenti con etichette dei partecipanti manipolate rivelano la sensibilità dei modelli all'attribuzione, a volte amplificando i pregiudizi o riconoscendo incongruenze, specialmente con etichette scambiate. Questo lavoro evidenzia i pregiudizi nelle narrazioni nazionali nei LLM, mette in discussione l'efficacia di semplici metodi di debiasing e offre un framework e un dataset per future ricerche sui pregiudizi geopolitici.

English

This paper evaluates geopolitical biases in LLMs with respect to various countries though an analysis of their interpretation of historical events with conflicting national perspectives (USA, UK, USSR, and China). We introduce a novel dataset with neutral event descriptions and contrasting viewpoints from different countries. Our findings show significant geopolitical biases, with models favoring specific national narratives. Additionally, simple debiasing prompts had a limited effect in reducing these biases. Experiments with manipulated participant labels reveal models' sensitivity to attribution, sometimes amplifying biases or recognizing inconsistencies, especially with swapped labels. This work highlights national narrative biases in LLMs, challenges the effectiveness of simple debiasing methods, and offers a framework and dataset for future geopolitical bias research.