Zur Messung der Repräsentation subjektiver globaler Meinungen in Sprachmodellen

Zusammenfassung

Große Sprachmodelle (LLMs) repräsentieren möglicherweise nicht gerecht die vielfältigen globalen Perspektiven auf gesellschaftliche Themen. In diesem Artikel entwickeln wir einen quantitativen Rahmen, um zu bewerten, wessen Meinungen die modellgenerierten Antworten stärker ähneln. Zunächst erstellen wir einen Datensatz, GlobalOpinionQA, der Fragen und Antworten aus länderübergreifenden Umfragen umfasst, die darauf abzielen, unterschiedliche Meinungen zu globalen Themen in verschiedenen Ländern zu erfassen. Anschließend definieren wir eine Metrik, die die Ähnlichkeit zwischen den von LLM generierten Umfrageantworten und menschlichen Antworten quantifiziert, wobei das Land als Bedingung berücksichtigt wird. Mit unserem Rahmen führen wir drei Experimente an einem LLM durch, das darauf trainiert wurde, hilfreich, ehrlich und harmlos zu sein, basierend auf Constitutional AI. Standardmäßig tendieren die LLM-Antworten dazu, den Meinungen bestimmter Bevölkerungsgruppen, wie denen aus den USA sowie einigen europäischen und südamerikanischen Ländern, stärker zu ähneln, was das Potenzial für Verzerrungen aufzeigt. Wenn wir das Modell dazu anregen, die Perspektive eines bestimmten Landes zu berücksichtigen, verschieben sich die Antworten, um den Meinungen der angeregten Bevölkerungsgruppen stärker zu ähneln, können jedoch schädliche kulturelle Stereotype widerspiegeln. Wenn wir die Fragen von GlobalOpinionQA in eine Zielsprache übersetzen, werden die Antworten des Modells nicht unbedingt den Meinungen der Sprecher dieser Sprachen am ähnlichsten. Wir stellen unseren Datensatz zur Verfügung, damit andere ihn nutzen und darauf aufbauen können. Unsere Daten sind unter https://huggingface.co/datasets/Anthropic/llm_global_opinions verfügbar. Wir bieten auch eine interaktive Visualisierung unter https://llmglobalvalues.anthropic.com an.

English

Large language models (LLMs) may not equitably represent diverse global perspectives on societal issues. In this paper, we develop a quantitative framework to evaluate whose opinions model-generated responses are more similar to. We first build a dataset, GlobalOpinionQA, comprised of questions and answers from cross-national surveys designed to capture diverse opinions on global issues across different countries. Next, we define a metric that quantifies the similarity between LLM-generated survey responses and human responses, conditioned on country. With our framework, we run three experiments on an LLM trained to be helpful, honest, and harmless with Constitutional AI. By default, LLM responses tend to be more similar to the opinions of certain populations, such as those from the USA, and some European and South American countries, highlighting the potential for biases. When we prompt the model to consider a particular country's perspective, responses shift to be more similar to the opinions of the prompted populations, but can reflect harmful cultural stereotypes. When we translate GlobalOpinionQA questions to a target language, the model's responses do not necessarily become the most similar to the opinions of speakers of those languages. We release our dataset for others to use and build on. Our data is at https://huggingface.co/datasets/Anthropic/llm_global_opinions. We also provide an interactive visualization at https://llmglobalvalues.anthropic.com.

Zur Messung der Repräsentation subjektiver globaler Meinungen in Sprachmodellen

Towards Measuring the Representation of Subjective Global Opinions in Language Models

Zusammenfassung

Support