Em Direção à Medição da Representação de Opiniões Globais Subjetivas em Modelos de Linguagem

Resumo

Modelos de linguagem de grande escala (LLMs) podem não representar de forma equitativa as diversas perspectivas globais sobre questões sociais. Neste artigo, desenvolvemos um framework quantitativo para avaliar a quais opiniões as respostas geradas pelo modelo são mais semelhantes. Primeiro, construímos um conjunto de dados, o GlobalOpinionQA, composto por perguntas e respostas de pesquisas transnacionais projetadas para capturar opiniões diversas sobre questões globais em diferentes países. Em seguida, definimos uma métrica que quantifica a similaridade entre as respostas geradas pelo LLM e as respostas humanas, condicionadas ao país. Com nosso framework, realizamos três experimentos em um LLM treinado para ser útil, honesto e inofensivo com IA Constitucional. Por padrão, as respostas do LLM tendem a ser mais semelhantes às opiniões de certas populações, como as dos EUA e de alguns países europeus e sul-americanos, destacando o potencial para vieses. Quando solicitamos que o modelo considere a perspectiva de um país específico, as respostas mudam para se tornarem mais semelhantes às opiniões das populações solicitadas, mas podem refletir estereótipos culturais prejudiciais. Quando traduzimos as perguntas do GlobalOpinionQA para um idioma-alvo, as respostas do modelo não necessariamente se tornam mais semelhantes às opiniões dos falantes desses idiomas. Disponibilizamos nosso conjunto de dados para que outros possam usá-lo e desenvolvê-lo. Nossos dados estão em https://huggingface.co/datasets/Anthropic/llm_global_opinions. Também fornecemos uma visualização interativa em https://llmglobalvalues.anthropic.com.

English

Large language models (LLMs) may not equitably represent diverse global perspectives on societal issues. In this paper, we develop a quantitative framework to evaluate whose opinions model-generated responses are more similar to. We first build a dataset, GlobalOpinionQA, comprised of questions and answers from cross-national surveys designed to capture diverse opinions on global issues across different countries. Next, we define a metric that quantifies the similarity between LLM-generated survey responses and human responses, conditioned on country. With our framework, we run three experiments on an LLM trained to be helpful, honest, and harmless with Constitutional AI. By default, LLM responses tend to be more similar to the opinions of certain populations, such as those from the USA, and some European and South American countries, highlighting the potential for biases. When we prompt the model to consider a particular country's perspective, responses shift to be more similar to the opinions of the prompted populations, but can reflect harmful cultural stereotypes. When we translate GlobalOpinionQA questions to a target language, the model's responses do not necessarily become the most similar to the opinions of speakers of those languages. We release our dataset for others to use and build on. Our data is at https://huggingface.co/datasets/Anthropic/llm_global_opinions. We also provide an interactive visualization at https://llmglobalvalues.anthropic.com.

Em Direção à Medição da Representação de Opiniões Globais Subjetivas em Modelos de Linguagem

Towards Measuring the Representation of Subjective Global Opinions in Language Models

Resumo

Support