Hoe Goed Vertegenwoordigen LLM's Waarden in Verschillende Culturen? Empirische Analyse van LLM-reacties Gebaseerd op Hofstedes Culturele Dimensies

How Well Do LLMs Represent Values Across Cultures? Empirical Analysis of LLM Responses Based on Hofstede Cultural Dimensions

June 21, 2024

Auteurs: Julia Kharchenko, Tanya Roosta, Aman Chadha, Chirag Shah

cs.AI

Samenvatting

Grote Taalmodellen (LLMs) proberen menselijk gedrag na te bootsen door op een manier te reageren die mensen behaagt, inclusief het aanhouden van hun waarden. Mensen komen echter uit diverse culturen met verschillende waarden. Het is cruciaal om te begrijpen of LLMs verschillende waarden aan de gebruiker tonen op basis van de stereotiepe waarden van het bekende land van de gebruiker. We geven verschillende LLMs een reeks adviesverzoeken op basis van 5 Hofstede Cultuurdimensies – een kwantificeerbare manier om de waarden van een land weer te geven. In elke prompt integreren we persona's die 36 verschillende landen vertegenwoordigen en, afzonderlijk, talen die voornamelijk aan elk land zijn verbonden, om de consistentie in het culturele begrip van de LLMs te analyseren. Uit onze analyse van de reacties blijkt dat LLMs onderscheid kunnen maken tussen de ene kant van een waarde en de andere, en begrijpen dat landen verschillende waarden hebben, maar niet altijd deze waarden zullen handhaven bij het geven van advies, en er niet in slagen om in te zien dat ze anders moeten antwoorden op basis van verschillende culturele waarden. Geworteld in deze bevindingen presenteren we aanbevelingen voor het trainen van waarde-afgestemde en cultureel gevoelige LLMs. Belangrijker nog, de methodologie en het raamwerk die hier zijn ontwikkeld, kunnen helpen om cultuur- en taalafstemmingsproblemen met LLMs verder te begrijpen en te mitigeren.

English

Large Language Models (LLMs) attempt to imitate human behavior by responding to humans in a way that pleases them, including by adhering to their values. However, humans come from diverse cultures with different values. It is critical to understand whether LLMs showcase different values to the user based on the stereotypical values of a user's known country. We prompt different LLMs with a series of advice requests based on 5 Hofstede Cultural Dimensions -- a quantifiable way of representing the values of a country. Throughout each prompt, we incorporate personas representing 36 different countries and, separately, languages predominantly tied to each country to analyze the consistency in the LLMs' cultural understanding. Through our analysis of the responses, we found that LLMs can differentiate between one side of a value and another, as well as understand that countries have differing values, but will not always uphold the values when giving advice, and fail to understand the need to answer differently based on different cultural values. Rooted in these findings, we present recommendations for training value-aligned and culturally sensitive LLMs. More importantly, the methodology and the framework developed here can help further understand and mitigate culture and language alignment issues with LLMs.