SeeGULL: Un Benchmark sugli Stereotipi con Ampia Copertura Geo-Culturale Basato su Modelli Generativi

SeeGULL: A Stereotype Benchmark with Broad Geo-Cultural Coverage Leveraging Generative Models

May 19, 2023

Autori: Akshita Jha, Aida Davani, Chandan K. Reddy, Shachi Dave, Vinodkumar Prabhakaran, Sunipa Dev

cs.AI

Abstract

I dataset di riferimento sugli stereotipi sono cruciali per rilevare e mitigare gli stereotipi sociali riguardanti gruppi di persone nei modelli di NLP. Tuttavia, i dataset esistenti sono limitati in termini di dimensioni e copertura, e sono per lo più ristretti agli stereotipi prevalenti nella società occidentale. Questo è particolarmente problematico man mano che le tecnologie linguistiche si diffondono in tutto il mondo. Per colmare questa lacuna, presentiamo SeeGULL, un dataset sugli stereotipi ad ampia copertura, costruito sfruttando le capacità generative di modelli linguistici di grandi dimensioni come PaLM e GPT-3, e utilizzando un pool di valutatori globalmente diversificato per convalidare la prevalenza di tali stereotipi nella società. SeeGULL è in inglese e contiene stereotipi su gruppi identitari che abbracciano 178 paesi in 8 diverse regioni geopolitiche distribuite su 6 continenti, nonché identità a livello statale negli Stati Uniti e in India. Includiamo anche punteggi dettagliati di offensività per diversi stereotipi e dimostriamo le loro disparità globali. Inoltre, includiamo annotazioni comparative sugli stessi gruppi da parte di annotatori che vivono nella regione rispetto a quelli basati in Nord America, e dimostriamo che gli stereotipi all'interno della regione sui gruppi differiscono da quelli prevalenti in Nord America. AVVERTENZA SUL CONTENUTO: Questo articolo contiene esempi di stereotipi che potrebbero essere offensivi.

English

Stereotype benchmark datasets are crucial to detect and mitigate social stereotypes about groups of people in NLP models. However, existing datasets are limited in size and coverage, and are largely restricted to stereotypes prevalent in the Western society. This is especially problematic as language technologies gain hold across the globe. To address this gap, we present SeeGULL, a broad-coverage stereotype dataset, built by utilizing generative capabilities of large language models such as PaLM, and GPT-3, and leveraging a globally diverse rater pool to validate the prevalence of those stereotypes in society. SeeGULL is in English, and contains stereotypes about identity groups spanning 178 countries across 8 different geo-political regions across 6 continents, as well as state-level identities within the US and India. We also include fine-grained offensiveness scores for different stereotypes and demonstrate their global disparities. Furthermore, we include comparative annotations about the same groups by annotators living in the region vs. those that are based in North America, and demonstrate that within-region stereotypes about groups differ from those prevalent in North America. CONTENT WARNING: This paper contains stereotype examples that may be offensive.