LLMは文化横断的な価値観をどの程度反映しているか？ホフステードの文化次元に基づくLLM応答の実証分析

How Well Do LLMs Represent Values Across Cultures? Empirical Analysis of LLM Responses Based on Hofstede Cultural Dimensions

June 21, 2024

著者: Julia Kharchenko, Tanya Roosta, Aman Chadha, Chirag Shah

cs.AI

要旨

大規模言語モデル（LLM）は、人間の行動を模倣し、人間の価値観に沿うことで、人間を喜ばせるような応答を試みます。しかし、人間は異なる文化背景を持ち、多様な価値観を持っています。LLMが、ユーザーの既知の国のステレオタイプ的な価値観に基づいて異なる価値観を示すかどうかを理解することは極めて重要です。本研究では、ホフステードの文化次元理論に基づく5つの次元を用いて、一連の助言要請を異なるLLMに提示します。各プロンプトでは、36の異なる国を代表するペルソナと、それぞれの国に主に関連付けられた言語を組み込み、LLMの文化的理解の一貫性を分析します。応答の分析を通じて、LLMが価値観の一方と他方を区別できること、また国ごとに異なる価値観があることを理解できるものの、助言を与える際に常にその価値観を維持するわけではなく、異なる文化的価値観に基づいて異なる回答をする必要性を理解できないことが明らかになりました。これらの知見に基づき、価値観に沿った文化的に敏感なLLMを訓練するための提言を行います。さらに重要なことに、ここで開発された方法論とフレームワークは、LLMにおける文化と言語の整合性の問題をさらに理解し、緩和するのに役立つでしょう。

English

Large Language Models (LLMs) attempt to imitate human behavior by responding to humans in a way that pleases them, including by adhering to their values. However, humans come from diverse cultures with different values. It is critical to understand whether LLMs showcase different values to the user based on the stereotypical values of a user's known country. We prompt different LLMs with a series of advice requests based on 5 Hofstede Cultural Dimensions -- a quantifiable way of representing the values of a country. Throughout each prompt, we incorporate personas representing 36 different countries and, separately, languages predominantly tied to each country to analyze the consistency in the LLMs' cultural understanding. Through our analysis of the responses, we found that LLMs can differentiate between one side of a value and another, as well as understand that countries have differing values, but will not always uphold the values when giving advice, and fail to understand the need to answer differently based on different cultural values. Rooted in these findings, we present recommendations for training value-aligned and culturally sensitive LLMs. More importantly, the methodology and the framework developed here can help further understand and mitigate culture and language alignment issues with LLMs.