К измерению представления субъективных глобальных мнений в языковых моделях

Аннотация

Крупные языковые модели (LLMs) могут несправедливо отражать разнообразные глобальные взгляды на социальные вопросы. В данной статье мы разрабатываем количественную методику для оценки того, чьи мнения больше соответствуют ответам, генерируемым моделью. Сначала мы создаем набор данных GlobalOpinionQA, состоящий из вопросов и ответов из международных опросов, предназначенных для охвата разнообразных мнений по глобальным вопросам в разных странах. Затем мы определяем метрику, которая количественно оценивает сходство между ответами, сгенерированными LLM, и ответами людей, с учетом страны. Используя нашу методику, мы проводим три эксперимента на LLM, обученной быть полезной, честной и безопасной с использованием Конституционного ИИ. По умолчанию ответы LLM чаще соответствуют мнениям определенных групп населения, таких как жители США, а также некоторых европейских и южноамериканских стран, что подчеркивает возможность наличия предубеждений. Когда мы предлагаем модели учитывать перспективу конкретной страны, ответы смещаются в сторону большего сходства с мнениями указанных групп населения, но могут отражать вредные культурные стереотипы. Когда мы переводим вопросы GlobalOpinionQA на целевой язык, ответы модели не обязательно становятся наиболее похожими на мнения носителей этих языков. Мы публикуем наш набор данных для использования и дальнейшего развития. Наши данные доступны по адресу https://huggingface.co/datasets/Anthropic/llm_global_opinions. Также мы предоставляем интерактивную визуализацию по адресу https://llmglobalvalues.anthropic.com.

English

Large language models (LLMs) may not equitably represent diverse global perspectives on societal issues. In this paper, we develop a quantitative framework to evaluate whose opinions model-generated responses are more similar to. We first build a dataset, GlobalOpinionQA, comprised of questions and answers from cross-national surveys designed to capture diverse opinions on global issues across different countries. Next, we define a metric that quantifies the similarity between LLM-generated survey responses and human responses, conditioned on country. With our framework, we run three experiments on an LLM trained to be helpful, honest, and harmless with Constitutional AI. By default, LLM responses tend to be more similar to the opinions of certain populations, such as those from the USA, and some European and South American countries, highlighting the potential for biases. When we prompt the model to consider a particular country's perspective, responses shift to be more similar to the opinions of the prompted populations, but can reflect harmful cultural stereotypes. When we translate GlobalOpinionQA questions to a target language, the model's responses do not necessarily become the most similar to the opinions of speakers of those languages. We release our dataset for others to use and build on. Our data is at https://huggingface.co/datasets/Anthropic/llm_global_opinions. We also provide an interactive visualization at https://llmglobalvalues.anthropic.com.

К измерению представления субъективных глобальных мнений в языковых моделях

Towards Measuring the Representation of Subjective Global Opinions in Language Models

Аннотация

Support