LLM은 문화 간 가치를 얼마나 잘 반영하는가? 호프스테드 문화 차원 기반 LLM 응답의 실증적 분석

How Well Do LLMs Represent Values Across Cultures? Empirical Analysis of LLM Responses Based on Hofstede Cultural Dimensions

June 21, 2024

저자: Julia Kharchenko, Tanya Roosta, Aman Chadha, Chirag Shah

cs.AI

초록

대형 언어 모델(LLMs)은 인간의 행동을 모방하여 인간에게 기쁨을 주는 방식으로 응답하려고 시도하며, 이는 인간의 가치관을 준수하는 것을 포함합니다. 그러나 인간은 다양한 문화적 배경과 서로 다른 가치관을 가지고 있습니다. LLMs가 사용자의 알려진 국가의 고정관념적 가치관을 기반으로 사용자에게 다른 가치관을 보여주는지 이해하는 것이 중요합니다. 우리는 5가지 호프스테드 문화 차원(Hofstede Cultural Dimensions)을 기반으로 한 일련의 조언 요청을 다양한 LLMs에 제시했습니다. 이는 국가의 가치관을 정량적으로 표현하는 방법입니다. 각 프롬프트에서 우리는 36개 다른 국가를 대표하는 페르소나와, 각 국가와 주로 연결된 언어를 별도로 통합하여 LLMs의 문화적 이해 일관성을 분석했습니다. 응답 분석을 통해 우리는 LLMs가 한 가치관의 한 측면과 다른 측면을 구분할 수 있으며, 국가마다 다른 가치관을 가지고 있다는 것을 이해하지만, 조언을 할 때 항상 그 가치관을 지키지는 않으며, 다른 문화적 가치관에 따라 다르게 답변해야 할 필요성을 이해하지 못한다는 것을 발견했습니다. 이러한 발견을 바탕으로, 우리는 가치관에 부합하고 문화적으로 민감한 LLMs를 훈련하기 위한 권장 사항을 제시합니다. 더 중요한 것은, 여기서 개발된 방법론과 프레임워크가 LLMs의 문화 및 언어 정렬 문제를 더 잘 이해하고 완화하는 데 도움을 줄 수 있다는 점입니다.

English

Large Language Models (LLMs) attempt to imitate human behavior by responding to humans in a way that pleases them, including by adhering to their values. However, humans come from diverse cultures with different values. It is critical to understand whether LLMs showcase different values to the user based on the stereotypical values of a user's known country. We prompt different LLMs with a series of advice requests based on 5 Hofstede Cultural Dimensions -- a quantifiable way of representing the values of a country. Throughout each prompt, we incorporate personas representing 36 different countries and, separately, languages predominantly tied to each country to analyze the consistency in the LLMs' cultural understanding. Through our analysis of the responses, we found that LLMs can differentiate between one side of a value and another, as well as understand that countries have differing values, but will not always uphold the values when giving advice, and fail to understand the need to answer differently based on different cultural values. Rooted in these findings, we present recommendations for training value-aligned and culturally sensitive LLMs. More importantly, the methodology and the framework developed here can help further understand and mitigate culture and language alignment issues with LLMs.