¿Qué Tan Bien Representan los LLM los Valores Entre Culturas? Análisis Empírico de las Respuestas de los LLM Basado en las Dimensiones Culturales de Hofstede

How Well Do LLMs Represent Values Across Cultures? Empirical Analysis of LLM Responses Based on Hofstede Cultural Dimensions

June 21, 2024

Autores: Julia Kharchenko, Tanya Roosta, Aman Chadha, Chirag Shah

cs.AI

Resumen

Los Modelos de Lenguaje a Gran Escala (LLMs, por sus siglas en inglés) intentan imitar el comportamiento humano respondiendo a las personas de una manera que les resulte agradable, incluyendo la adherencia a sus valores. Sin embargo, los humanos provienen de diversas culturas con valores diferentes. Es crucial comprender si los LLMs muestran valores distintos al usuario basándose en los valores estereotípicos del país conocido del usuario. Solicitamos a diferentes LLMs una serie de solicitudes de consejos basadas en las 5 Dimensiones Culturales de Hofstede, una forma cuantificable de representar los valores de un país. En cada solicitud, incorporamos personajes que representan 36 países diferentes y, por separado, los idiomas predominantemente asociados a cada país, para analizar la consistencia en la comprensión cultural de los LLMs. A través de nuestro análisis de las respuestas, descubrimos que los LLMs pueden diferenciar entre un extremo de un valor y otro, así como entender que los países tienen valores distintos, pero no siempre mantienen estos valores al dar consejos, y no comprenden la necesidad de responder de manera diferente según los distintos valores culturales. Basándonos en estos hallazgos, presentamos recomendaciones para entrenar LLMs alineados con valores y sensibles culturalmente. Más importante aún, la metodología y el marco desarrollados aquí pueden ayudar a comprender y mitigar los problemas de alineación cultural y lingüística con los LLMs.

English

Large Language Models (LLMs) attempt to imitate human behavior by responding to humans in a way that pleases them, including by adhering to their values. However, humans come from diverse cultures with different values. It is critical to understand whether LLMs showcase different values to the user based on the stereotypical values of a user's known country. We prompt different LLMs with a series of advice requests based on 5 Hofstede Cultural Dimensions -- a quantifiable way of representing the values of a country. Throughout each prompt, we incorporate personas representing 36 different countries and, separately, languages predominantly tied to each country to analyze the consistency in the LLMs' cultural understanding. Through our analysis of the responses, we found that LLMs can differentiate between one side of a value and another, as well as understand that countries have differing values, but will not always uphold the values when giving advice, and fail to understand the need to answer differently based on different cultural values. Rooted in these findings, we present recommendations for training value-aligned and culturally sensitive LLMs. More importantly, the methodology and the framework developed here can help further understand and mitigate culture and language alignment issues with LLMs.