Dans quelle mesure les LLM représentent-ils les valeurs à travers les cultures ? Analyse empirique des réponses des LLM basée sur les dimensions culturelles de Hofstede

How Well Do LLMs Represent Values Across Cultures? Empirical Analysis of LLM Responses Based on Hofstede Cultural Dimensions

June 21, 2024

Auteurs: Julia Kharchenko, Tanya Roosta, Aman Chadha, Chirag Shah

cs.AI

Résumé

Les grands modèles de langage (LLMs) tentent d'imiter le comportement humain en répondant aux individus de manière à leur plaire, y compris en adhérant à leurs valeurs. Cependant, les humains proviennent de cultures diverses avec des valeurs différentes. Il est crucial de comprendre si les LLMs présentent des valeurs différentes à l'utilisateur en fonction des valeurs stéréotypées du pays connu de l'utilisateur. Nous sollicitons différents LLMs avec une série de demandes de conseils basées sur les 5 dimensions culturelles de Hofstede — une manière quantifiable de représenter les valeurs d'un pays. Tout au long de chaque sollicitation, nous intégrons des personnages représentant 36 pays différents et, séparément, les langues principalement associées à chaque pays pour analyser la cohérence dans la compréhension culturelle des LLMs. À travers notre analyse des réponses, nous avons constaté que les LLMs peuvent différencier un aspect d'une valeur d'un autre, ainsi que comprendre que les pays ont des valeurs différentes, mais ne respecteront pas toujours ces valeurs lorsqu'ils donnent des conseils, et ne parviennent pas à comprendre la nécessité de répondre différemment en fonction des différentes valeurs culturelles. Enracinées dans ces découvertes, nous présentons des recommandations pour former des LLMs alignés sur les valeurs et sensibles à la culture. Plus important encore, la méthodologie et le cadre développés ici peuvent aider à mieux comprendre et atténuer les problèmes d'alignement culturel et linguistique avec les LLMs.

English

Large Language Models (LLMs) attempt to imitate human behavior by responding to humans in a way that pleases them, including by adhering to their values. However, humans come from diverse cultures with different values. It is critical to understand whether LLMs showcase different values to the user based on the stereotypical values of a user's known country. We prompt different LLMs with a series of advice requests based on 5 Hofstede Cultural Dimensions -- a quantifiable way of representing the values of a country. Throughout each prompt, we incorporate personas representing 36 different countries and, separately, languages predominantly tied to each country to analyze the consistency in the LLMs' cultural understanding. Through our analysis of the responses, we found that LLMs can differentiate between one side of a value and another, as well as understand that countries have differing values, but will not always uphold the values when giving advice, and fail to understand the need to answer differently based on different cultural values. Rooted in these findings, we present recommendations for training value-aligned and culturally sensitive LLMs. More importantly, the methodology and the framework developed here can help further understand and mitigate culture and language alignment issues with LLMs.