Inwieweit repräsentieren LLMs Werte über verschiedene Kulturen hinweg? Empirische Analyse von LLM-Antworten basierend auf den kulturellen Dimensionen von Hofstede.

How Well Do LLMs Represent Values Across Cultures? Empirical Analysis of LLM Responses Based on Hofstede Cultural Dimensions

June 21, 2024

Autoren: Julia Kharchenko, Tanya Roosta, Aman Chadha, Chirag Shah

cs.AI

Zusammenfassung

Große Sprachmodelle (LLMs) versuchen, menschliches Verhalten nachzuahmen, indem sie auf Menschen reagieren, um sie zufriedenzustellen, auch indem sie sich an deren Werten orientieren. Allerdings stammen Menschen aus verschiedenen Kulturen mit unterschiedlichen Werten. Es ist entscheidend zu verstehen, ob LLMs dem Benutzer basierend auf den stereotypen Werten eines bekannten Landes unterschiedliche Werte präsentieren. Wir fordern verschiedene LLMs mit einer Reihe von Ratsucheanfragen basierend auf den 5 Hofstede-Kulturdimensionen heraus - einer quantifizierbaren Methode zur Darstellung der Werte eines Landes. Während jeder Anfrage integrieren wir Personas, die 36 verschiedene Länder repräsentieren, sowie separat Sprachen, die hauptsächlich mit jedem Land verbunden sind, um die Konsistenz im kulturellen Verständnis der LLMs zu analysieren. Durch unsere Analyse der Antworten stellten wir fest, dass LLMs zwischen verschiedenen Seiten eines Wertes unterscheiden können und verstehen, dass Länder unterschiedliche Werte haben, aber nicht immer die Werte einhalten, wenn sie Ratschläge geben, und das Bedürfnis, basierend auf unterschiedlichen kulturellen Werten unterschiedlich zu antworten, nicht verstehen. Basierend auf diesen Erkenntnissen präsentieren wir Empfehlungen zur Schulung von wertorientierten und kulturell sensiblen LLMs. Vor allem können die hier entwickelte Methodik und der Rahmen dazu beitragen, kulturelle und sprachliche Abstimmungsprobleme mit LLMs weiter zu verstehen und zu mildern.

English

Large Language Models (LLMs) attempt to imitate human behavior by responding to humans in a way that pleases them, including by adhering to their values. However, humans come from diverse cultures with different values. It is critical to understand whether LLMs showcase different values to the user based on the stereotypical values of a user's known country. We prompt different LLMs with a series of advice requests based on 5 Hofstede Cultural Dimensions -- a quantifiable way of representing the values of a country. Throughout each prompt, we incorporate personas representing 36 different countries and, separately, languages predominantly tied to each country to analyze the consistency in the LLMs' cultural understanding. Through our analysis of the responses, we found that LLMs can differentiate between one side of a value and another, as well as understand that countries have differing values, but will not always uphold the values when giving advice, and fail to understand the need to answer differently based on different cultural values. Rooted in these findings, we present recommendations for training value-aligned and culturally sensitive LLMs. More importantly, the methodology and the framework developed here can help further understand and mitigate culture and language alignment issues with LLMs.