Naar het meten van de representatie van subjectieve mondiale meningen in taalmodellen

Samenvatting

Grote taalmodellen (LLM's) vertegenwoordigen mogelijk niet op een evenwichtige manier diverse mondiale perspectieven op maatschappelijke kwesties. In dit artikel ontwikkelen we een kwantitatief raamwerk om te evalueren wiens meningen de door modellen gegenereerde antwoorden het meest lijken. We bouwen eerst een dataset, GlobalOpinionQA, die bestaat uit vragen en antwoorden uit internationale enquêtes die zijn ontworpen om diverse meningen over mondiale kwesties in verschillende landen vast te leggen. Vervolgens definiëren we een metriek die de gelijkenis kwantificeert tussen door LLM's gegenereerde enquêtereacties en menselijke reacties, afhankelijk van het land. Met ons raamwerk voeren we drie experimenten uit op een LLM dat is getraind om behulpzaam, eerlijk en onschadelijk te zijn met Constitutional AI. Standaard lijken LLM-reacties meer op de meningen van bepaalde populaties, zoals die uit de VS, en enkele Europese en Zuid-Amerikaanse landen, wat het potentieel voor vooroordelen benadrukt. Wanneer we het model aanmoedigen om het perspectief van een bepaald land te overwegen, verschuiven de reacties om meer op de meningen van de gevraagde populaties te lijken, maar kunnen ze schadelijke culturele stereotypen weerspiegelen. Wanneer we de vragen van GlobalOpinionQA vertalen naar een doeltaal, worden de reacties van het model niet noodzakelijkerwijs het meest vergelijkbaar met de meningen van sprekers van die talen. We stellen onze dataset beschikbaar voor anderen om te gebruiken en op voort te bouwen. Onze gegevens zijn te vinden op https://huggingface.co/datasets/Anthropic/llm_global_opinions. We bieden ook een interactieve visualisatie aan op https://llmglobalvalues.anthropic.com.

English

Large language models (LLMs) may not equitably represent diverse global perspectives on societal issues. In this paper, we develop a quantitative framework to evaluate whose opinions model-generated responses are more similar to. We first build a dataset, GlobalOpinionQA, comprised of questions and answers from cross-national surveys designed to capture diverse opinions on global issues across different countries. Next, we define a metric that quantifies the similarity between LLM-generated survey responses and human responses, conditioned on country. With our framework, we run three experiments on an LLM trained to be helpful, honest, and harmless with Constitutional AI. By default, LLM responses tend to be more similar to the opinions of certain populations, such as those from the USA, and some European and South American countries, highlighting the potential for biases. When we prompt the model to consider a particular country's perspective, responses shift to be more similar to the opinions of the prompted populations, but can reflect harmful cultural stereotypes. When we translate GlobalOpinionQA questions to a target language, the model's responses do not necessarily become the most similar to the opinions of speakers of those languages. We release our dataset for others to use and build on. Our data is at https://huggingface.co/datasets/Anthropic/llm_global_opinions. We also provide an interactive visualization at https://llmglobalvalues.anthropic.com.

Naar het meten van de representatie van subjectieve mondiale meningen in taalmodellen

Towards Measuring the Representation of Subjective Global Opinions in Language Models

Samenvatting

Support