Verso la misurazione della rappresentazione delle opinioni globali soggettive nei modelli linguistici

Abstract

I grandi modelli linguistici (LLM) potrebbero non rappresentare equamente le diverse prospettive globali sulle questioni sociali. In questo articolo, sviluppiamo un framework quantitativo per valutare a quali opinioni le risposte generate dai modelli siano più simili. Iniziamo costruendo un dataset, GlobalOpinionQA, composto da domande e risposte provenienti da sondaggi transnazionali progettati per catturare opinioni diverse su questioni globali in diversi paesi. Successivamente, definiamo una metrica che quantifica la somiglianza tra le risposte ai sondaggi generate dagli LLM e quelle umane, condizionate al paese. Utilizzando il nostro framework, conduciamo tre esperimenti su un LLM addestrato per essere utile, onesto e innocuo con Constitutional AI. Di default, le risposte degli LLM tendono a essere più simili alle opinioni di alcune popolazioni, come quelle degli USA e di alcuni paesi europei e sudamericani, evidenziando il potenziale per bias. Quando sollecitiamo il modello a considerare la prospettiva di un particolare paese, le risposte si spostano per essere più simili alle opinioni delle popolazioni sollecitate, ma possono riflettere stereotipi culturali dannosi. Quando traduciamo le domande di GlobalOpinionQA in una lingua target, le risposte del modello non diventano necessariamente le più simili alle opinioni dei parlanti di quelle lingue. Rilasciamo il nostro dataset affinché altri possano utilizzarlo e costruirci sopra. I nostri dati sono disponibili su https://huggingface.co/datasets/Anthropic/llm_global_opinions. Forniamo anche una visualizzazione interattiva su https://llmglobalvalues.anthropic.com.

English

Large language models (LLMs) may not equitably represent diverse global perspectives on societal issues. In this paper, we develop a quantitative framework to evaluate whose opinions model-generated responses are more similar to. We first build a dataset, GlobalOpinionQA, comprised of questions and answers from cross-national surveys designed to capture diverse opinions on global issues across different countries. Next, we define a metric that quantifies the similarity between LLM-generated survey responses and human responses, conditioned on country. With our framework, we run three experiments on an LLM trained to be helpful, honest, and harmless with Constitutional AI. By default, LLM responses tend to be more similar to the opinions of certain populations, such as those from the USA, and some European and South American countries, highlighting the potential for biases. When we prompt the model to consider a particular country's perspective, responses shift to be more similar to the opinions of the prompted populations, but can reflect harmful cultural stereotypes. When we translate GlobalOpinionQA questions to a target language, the model's responses do not necessarily become the most similar to the opinions of speakers of those languages. We release our dataset for others to use and build on. Our data is at https://huggingface.co/datasets/Anthropic/llm_global_opinions. We also provide an interactive visualization at https://llmglobalvalues.anthropic.com.

Verso la misurazione della rappresentazione delle opinioni globali soggettive nei modelli linguistici

Towards Measuring the Representation of Subjective Global Opinions in Language Models

Abstract

Support