Quanto Bene i Modelli Linguistici di Grandi Dimensioni Rappresentano i Valori tra le Culture? Analisi Empirica delle Risposte dei Modelli Linguistici Basata sulle Dimensioni Culturali di Hofstede

How Well Do LLMs Represent Values Across Cultures? Empirical Analysis of LLM Responses Based on Hofstede Cultural Dimensions

June 21, 2024

Autori: Julia Kharchenko, Tanya Roosta, Aman Chadha, Chirag Shah

cs.AI

Abstract

I Large Language Model (LLM) cercano di imitare il comportamento umano rispondendo alle persone in modo da compiacerle, incluso l'aderire ai loro valori. Tuttavia, gli esseri umani provengono da culture diverse con valori differenti. È fondamentale comprendere se i LLM mostrano valori diversi all'utente in base ai valori stereotipati del paese di provenienza dell'utente. Abbiamo sottoposto diversi LLM a una serie di richieste di consiglio basate sulle 5 Dimensioni Culturali di Hofstede, un modo quantificabile di rappresentare i valori di un paese. In ogni prompt, abbiamo incorporato personaggi rappresentativi di 36 paesi diversi e, separatamente, lingue prevalentemente associate a ciascun paese, per analizzare la coerenza nella comprensione culturale dei LLM. Attraverso l'analisi delle risposte, abbiamo scoperto che i LLM sono in grado di distinguere tra un lato di un valore e l'altro, nonché di comprendere che i paesi hanno valori diversi, ma non sempre rispettano questi valori quando forniscono consigli, e non riescono a comprendere la necessità di rispondere in modo diverso in base a diversi valori culturali. Basandoci su questi risultati, presentiamo raccomandazioni per l'addestramento di LLM allineati ai valori e sensibili alle culture. Ancora più importante, la metodologia e il framework sviluppati qui possono aiutare a comprendere e mitigare ulteriormente i problemi di allineamento culturale e linguistico con i LLM.

English

Large Language Models (LLMs) attempt to imitate human behavior by responding to humans in a way that pleases them, including by adhering to their values. However, humans come from diverse cultures with different values. It is critical to understand whether LLMs showcase different values to the user based on the stereotypical values of a user's known country. We prompt different LLMs with a series of advice requests based on 5 Hofstede Cultural Dimensions -- a quantifiable way of representing the values of a country. Throughout each prompt, we incorporate personas representing 36 different countries and, separately, languages predominantly tied to each country to analyze the consistency in the LLMs' cultural understanding. Through our analysis of the responses, we found that LLMs can differentiate between one side of a value and another, as well as understand that countries have differing values, but will not always uphold the values when giving advice, and fail to understand the need to answer differently based on different cultural values. Rooted in these findings, we present recommendations for training value-aligned and culturally sensitive LLMs. More importantly, the methodology and the framework developed here can help further understand and mitigate culture and language alignment issues with LLMs.