Vers la mesure de la représentation des opinions mondiales subjectives dans les modèles de langage

Résumé

Les grands modèles de langage (LLM) pourraient ne pas représenter équitablement les perspectives mondiales diverses sur les enjeux sociétaux. Dans cet article, nous développons un cadre quantitatif pour évaluer à quelles opinions les réponses générées par les modèles se rapprochent le plus. Nous commençons par construire un ensemble de données, GlobalOpinionQA, composé de questions et de réponses issues d'enquêtes transnationales conçues pour capturer des opinions variées sur des questions mondiales dans différents pays. Ensuite, nous définissons une métrique qui quantifie la similarité entre les réponses d'enquête générées par les LLM et les réponses humaines, en fonction du pays. Avec notre cadre, nous menons trois expériences sur un LLM entraîné à être utile, honnête et inoffensif grâce à l'IA Constitutionnelle. Par défaut, les réponses des LLM tendent à être plus similaires aux opinions de certaines populations, comme celles des États-Unis, et de certains pays européens et sud-américains, mettant en lumière des biais potentiels. Lorsque nous incitons le modèle à considérer la perspective d'un pays particulier, les réponses se rapprochent davantage des opinions des populations ciblées, mais peuvent refléter des stéréotypes culturels nuisibles. Lorsque nous traduisons les questions de GlobalOpinionQA dans une langue cible, les réponses du modèle ne deviennent pas nécessairement les plus similaires aux opinions des locuteurs de ces langues. Nous publions notre ensemble de données pour que d'autres puissent l'utiliser et le développer. Nos données sont disponibles à l'adresse https://huggingface.co/datasets/Anthropic/llm_global_opinions. Nous fournissons également une visualisation interactive à l'adresse https://llmglobalvalues.anthropic.com.

English

Large language models (LLMs) may not equitably represent diverse global perspectives on societal issues. In this paper, we develop a quantitative framework to evaluate whose opinions model-generated responses are more similar to. We first build a dataset, GlobalOpinionQA, comprised of questions and answers from cross-national surveys designed to capture diverse opinions on global issues across different countries. Next, we define a metric that quantifies the similarity between LLM-generated survey responses and human responses, conditioned on country. With our framework, we run three experiments on an LLM trained to be helpful, honest, and harmless with Constitutional AI. By default, LLM responses tend to be more similar to the opinions of certain populations, such as those from the USA, and some European and South American countries, highlighting the potential for biases. When we prompt the model to consider a particular country's perspective, responses shift to be more similar to the opinions of the prompted populations, but can reflect harmful cultural stereotypes. When we translate GlobalOpinionQA questions to a target language, the model's responses do not necessarily become the most similar to the opinions of speakers of those languages. We release our dataset for others to use and build on. Our data is at https://huggingface.co/datasets/Anthropic/llm_global_opinions. We also provide an interactive visualization at https://llmglobalvalues.anthropic.com.

Vers la mesure de la représentation des opinions mondiales subjectives dans les modèles de langage

Towards Measuring the Representation of Subjective Global Opinions in Language Models

Résumé

Support