Hacia la Medición de la Representación de Opiniones Globales Subjetivas en Modelos de Lenguaje

Resumen

Los modelos de lenguaje de gran escala (LLMs, por sus siglas en inglés) pueden no representar equitativamente las diversas perspectivas globales sobre temas sociales. En este artículo, desarrollamos un marco cuantitativo para evaluar a cuyas opiniones se asemejan más las respuestas generadas por los modelos. Primero construimos un conjunto de datos, GlobalOpinionQA, compuesto por preguntas y respuestas de encuestas transnacionales diseñadas para capturar opiniones diversas sobre temas globales en diferentes países. A continuación, definimos una métrica que cuantifica la similitud entre las respuestas generadas por los LLMs y las respuestas humanas, condicionadas por país. Con nuestro marco, realizamos tres experimentos en un LLM entrenado para ser útil, honesto e inofensivo mediante IA Constitucional. Por defecto, las respuestas del LLM tienden a ser más similares a las opiniones de ciertas poblaciones, como las de EE. UU., y algunos países europeos y sudamericanos, lo que destaca el potencial de sesgos. Cuando indicamos al modelo que considere la perspectiva de un país en particular, las respuestas se desplazan para ser más similares a las opiniones de las poblaciones indicadas, pero pueden reflejar estereotipos culturales dañinos. Cuando traducimos las preguntas de GlobalOpinionQA a un idioma objetivo, las respuestas del modelo no necesariamente se vuelven más similares a las opiniones de los hablantes de esos idiomas. Publicamos nuestro conjunto de datos para que otros lo utilicen y desarrollen. Nuestros datos están disponibles en https://huggingface.co/datasets/Anthropic/llm_global_opinions. También proporcionamos una visualización interactiva en https://llmglobalvalues.anthropic.com.

English

Large language models (LLMs) may not equitably represent diverse global perspectives on societal issues. In this paper, we develop a quantitative framework to evaluate whose opinions model-generated responses are more similar to. We first build a dataset, GlobalOpinionQA, comprised of questions and answers from cross-national surveys designed to capture diverse opinions on global issues across different countries. Next, we define a metric that quantifies the similarity between LLM-generated survey responses and human responses, conditioned on country. With our framework, we run three experiments on an LLM trained to be helpful, honest, and harmless with Constitutional AI. By default, LLM responses tend to be more similar to the opinions of certain populations, such as those from the USA, and some European and South American countries, highlighting the potential for biases. When we prompt the model to consider a particular country's perspective, responses shift to be more similar to the opinions of the prompted populations, but can reflect harmful cultural stereotypes. When we translate GlobalOpinionQA questions to a target language, the model's responses do not necessarily become the most similar to the opinions of speakers of those languages. We release our dataset for others to use and build on. Our data is at https://huggingface.co/datasets/Anthropic/llm_global_opinions. We also provide an interactive visualization at https://llmglobalvalues.anthropic.com.

Hacia la Medición de la Representación de Opiniones Globales Subjetivas en Modelos de Lenguaje

Towards Measuring the Representation of Subjective Global Opinions in Language Models

Resumen

Support