Насколько хорошо LLM-модели представляют ценности различных культур? Эмпирический анализ ответов LLM на основе культурных измерений Хофстеде.

How Well Do LLMs Represent Values Across Cultures? Empirical Analysis of LLM Responses Based on Hofstede Cultural Dimensions

June 21, 2024

Авторы: Julia Kharchenko, Tanya Roosta, Aman Chadha, Chirag Shah

cs.AI

Аннотация

Большие языковые модели (LLM) пытаются имитировать человеческое поведение, отвечая на запросы людей таким образом, чтобы угодить им, включая соблюдение их ценностей. Однако люди представлены различными культурами с разными ценностями. Крайне важно понять, демонстрируют ли LLM различные ценности пользователю на основе стереотипных ценностей известной страны пользователя. Мы подаем различные запросы на совет различным LLM, основываясь на 5 культурных измерениях Хофстеде - количественном способе представления ценностей страны. На протяжении каждого запроса мы используем персоны, представляющие 36 различных стран и, отдельно, языки, преимущественно связанные с каждой страной, чтобы проанализировать согласованность в культурном понимании LLM. Из анализа ответов мы выяснили, что LLM могут различать одну сторону ценности от другой, а также понимать, что страны имеют различные ценности, но не всегда придерживаются этих ценностей при даче советов и не понимают необходимости отвечать по-разному в зависимости от различных культурных ценностей. Основываясь на этих выводах, мы представляем рекомендации по обучению LLM, соответствующих ценностям и культурно чувствительных. Более того, разработанная здесь методология и фреймворк могут помочь лучше понять и уменьшить проблемы согласования культуры и языка с LLM.

English

Large Language Models (LLMs) attempt to imitate human behavior by responding to humans in a way that pleases them, including by adhering to their values. However, humans come from diverse cultures with different values. It is critical to understand whether LLMs showcase different values to the user based on the stereotypical values of a user's known country. We prompt different LLMs with a series of advice requests based on 5 Hofstede Cultural Dimensions -- a quantifiable way of representing the values of a country. Throughout each prompt, we incorporate personas representing 36 different countries and, separately, languages predominantly tied to each country to analyze the consistency in the LLMs' cultural understanding. Through our analysis of the responses, we found that LLMs can differentiate between one side of a value and another, as well as understand that countries have differing values, but will not always uphold the values when giving advice, and fail to understand the need to answer differently based on different cultural values. Rooted in these findings, we present recommendations for training value-aligned and culturally sensitive LLMs. More importantly, the methodology and the framework developed here can help further understand and mitigate culture and language alignment issues with LLMs.