LLMにおける地政学的バイアス：現代の言語モデルが示す「良い」国と「悪い」国

要旨

本論文は、LLM（大規模言語モデル）における地政学的バイアスを、対立する国家的視点（米国、英国、旧ソ連、中国）を持つ歴史的事象の解釈を通じて評価する。我々は、中立な事象記述と異なる国々の対照的な視点を含む新規データセットを導入した。その結果、モデルが特定の国家的ナラティブを優先するという顕著な地政学的バイアスが明らかとなった。さらに、単純なバイアス除去プロンプトは、これらのバイアスを軽減する効果が限定的であった。操作された参加者ラベルを用いた実験では、モデルが帰属に対して敏感であり、特にラベルが入れ替わった場合にバイアスを増幅させたり、矛盾を認識したりすることが示された。本研究は、LLMにおける国家的ナラティブのバイアスを浮き彫りにし、単純なバイアス除去手法の有効性に疑問を投げかけ、今後の地政学的バイアス研究のための枠組みとデータセットを提供するものである。

English

This paper evaluates geopolitical biases in LLMs with respect to various countries though an analysis of their interpretation of historical events with conflicting national perspectives (USA, UK, USSR, and China). We introduce a novel dataset with neutral event descriptions and contrasting viewpoints from different countries. Our findings show significant geopolitical biases, with models favoring specific national narratives. Additionally, simple debiasing prompts had a limited effect in reducing these biases. Experiments with manipulated participant labels reveal models' sensitivity to attribution, sometimes amplifying biases or recognizing inconsistencies, especially with swapped labels. This work highlights national narrative biases in LLMs, challenges the effectiveness of simple debiasing methods, and offers a framework and dataset for future geopolitical bias research.

LLMにおける地政学的バイアス：現代の言語モデルが示す「良い」国と「悪い」国

Geopolitical biases in LLMs: what are the "good" and the "bad" countries according to contemporary language models

要旨

Support