Quão bem os LLMs representam valores entre culturas? Análise empírica das respostas de LLMs com base nas Dimensões Culturais de Hofstede.

How Well Do LLMs Represent Values Across Cultures? Empirical Analysis of LLM Responses Based on Hofstede Cultural Dimensions

June 21, 2024

Autores: Julia Kharchenko, Tanya Roosta, Aman Chadha, Chirag Shah

cs.AI

Resumo

Grandes Modelos de Linguagem (LLMs) tentam imitar o comportamento humano respondendo aos humanos de uma maneira que os agrade, inclusive aderindo aos seus valores. No entanto, os humanos vêm de culturas diversas com valores diferentes. É crucial entender se os LLMs demonstram valores diferentes ao usuário com base nos valores estereotípicos de um país conhecido pelo usuário. Nós provocamos diferentes LLMs com uma série de pedidos de conselhos com base nas 5 Dimensões Culturais de Hofstede - uma maneira quantificável de representar os valores de um país. Ao longo de cada provocação, incorporamos personas representando 36 países diferentes e, separadamente, idiomas predominantemente associados a cada país para analisar a consistência na compreensão cultural dos LLMs. Através da nossa análise das respostas, descobrimos que os LLMs conseguem diferenciar entre um lado de um valor e outro, bem como compreender que os países têm valores diferentes, mas nem sempre irão sustentar os valores ao dar conselhos, e falham em entender a necessidade de responder de forma diferente com base em valores culturais distintos. Fundamentados nesses achados, apresentamos recomendações para treinar LLMs alinhados com valores e culturalmente sensíveis. Mais importante ainda, a metodologia e o framework desenvolvidos aqui podem ajudar a compreender e mitigar questões de alinhamento cultural e linguístico com LLMs.

English

Large Language Models (LLMs) attempt to imitate human behavior by responding to humans in a way that pleases them, including by adhering to their values. However, humans come from diverse cultures with different values. It is critical to understand whether LLMs showcase different values to the user based on the stereotypical values of a user's known country. We prompt different LLMs with a series of advice requests based on 5 Hofstede Cultural Dimensions -- a quantifiable way of representing the values of a country. Throughout each prompt, we incorporate personas representing 36 different countries and, separately, languages predominantly tied to each country to analyze the consistency in the LLMs' cultural understanding. Through our analysis of the responses, we found that LLMs can differentiate between one side of a value and another, as well as understand that countries have differing values, but will not always uphold the values when giving advice, and fail to understand the need to answer differently based on different cultural values. Rooted in these findings, we present recommendations for training value-aligned and culturally sensitive LLMs. More importantly, the methodology and the framework developed here can help further understand and mitigate culture and language alignment issues with LLMs.