SeeGULL: Un punto de referencia de estereotipos con amplia cobertura geocultural aprovechando modelos generativos

SeeGULL: A Stereotype Benchmark with Broad Geo-Cultural Coverage Leveraging Generative Models

May 19, 2023

Autores: Akshita Jha, Aida Davani, Chandan K. Reddy, Shachi Dave, Vinodkumar Prabhakaran, Sunipa Dev

cs.AI

Resumen

Los conjuntos de datos de referencia sobre estereotipos son cruciales para detectar y mitigar los estereotipos sociales sobre grupos de personas en los modelos de PLN. Sin embargo, los conjuntos de datos existentes son limitados en tamaño y cobertura, y se restringen en gran medida a los estereotipos prevalentes en la sociedad occidental. Esto es especialmente problemático a medida que las tecnologías del lenguaje se expanden a nivel global. Para abordar esta brecha, presentamos SeeGULL, un conjunto de datos de estereotipos de amplia cobertura, construido utilizando las capacidades generativas de modelos de lenguaje grandes como PaLM y GPT-3, y aprovechando un grupo diverso de evaluadores a nivel mundial para validar la prevalencia de esos estereotipos en la sociedad. SeeGULL está en inglés y contiene estereotipos sobre grupos de identidad que abarcan 178 países en 8 regiones geopolíticas diferentes y 6 continentes, así como identidades a nivel estatal dentro de Estados Unidos e India. También incluimos puntuaciones detalladas de ofensividad para diferentes estereotipos y demostramos sus disparidades globales. Además, incorporamos anotaciones comparativas sobre los mismos grupos realizadas por anotadores que viven en la región frente a aquellos basados en América del Norte, y demostramos que los estereotipos dentro de la región sobre los grupos difieren de los prevalentes en América del Norte. ADVERTENCIA DE CONTENIDO: Este artículo contiene ejemplos de estereotipos que pueden resultar ofensivos.

English

Stereotype benchmark datasets are crucial to detect and mitigate social stereotypes about groups of people in NLP models. However, existing datasets are limited in size and coverage, and are largely restricted to stereotypes prevalent in the Western society. This is especially problematic as language technologies gain hold across the globe. To address this gap, we present SeeGULL, a broad-coverage stereotype dataset, built by utilizing generative capabilities of large language models such as PaLM, and GPT-3, and leveraging a globally diverse rater pool to validate the prevalence of those stereotypes in society. SeeGULL is in English, and contains stereotypes about identity groups spanning 178 countries across 8 different geo-political regions across 6 continents, as well as state-level identities within the US and India. We also include fine-grained offensiveness scores for different stereotypes and demonstrate their global disparities. Furthermore, we include comparative annotations about the same groups by annotators living in the region vs. those that are based in North America, and demonstrate that within-region stereotypes about groups differ from those prevalent in North America. CONTENT WARNING: This paper contains stereotype examples that may be offensive.