SeeGULL: 생성 모델을 활용한 광범위한 지리-문화적 커버리지를 가진 스테레오타입 벤치마크
SeeGULL: A Stereotype Benchmark with Broad Geo-Cultural Coverage Leveraging Generative Models
May 19, 2023
저자: Akshita Jha, Aida Davani, Chandan K. Reddy, Shachi Dave, Vinodkumar Prabhakaran, Sunipa Dev
cs.AI
초록
스테레오타입 벤치마크 데이터셋은 NLP 모델에서 특정 그룹에 대한 사회적 스테레오타입을 탐지하고 완화하는 데 중요한 역할을 합니다. 그러나 기존 데이터셋은 크기와 범위가 제한적이며, 주로 서구 사회에서 유행하는 스테레오타입에 국한되어 있습니다. 이는 언어 기술이 전 세계적으로 확산됨에 따라 특히 문제가 됩니다. 이러한 격차를 해결하기 위해, 우리는 PaLM, GPT-3와 같은 대형 언어 모델의 생성 능력을 활용하고, 전 세계적으로 다양한 평가자 풀을 활용하여 사회에서 이러한 스테레오타입의 유행을 검증한 광범위한 스테레오타입 데이터셋인 SeeGULL을 제시합니다. SeeGULL은 영어로 작성되었으며, 6개 대륙에 걸친 8개의 지리적 정치적 지역과 미국 및 인도 내 주 단위의 정체성을 포함하여 178개국의 정체성 그룹에 대한 스테레오타입을 담고 있습니다. 또한, 다양한 스테레오타입에 대한 세분화된 공격성 점수를 포함하고 이를 통해 전 세계적인 차이를 보여줍니다. 더 나아가, 해당 지역에 거주하는 주석자와 북미에 기반을 둔 주석자가 동일한 그룹에 대해 비교 주석을 제공하며, 지역 내 스테레오타입이 북미에서 유행하는 것과 다르다는 것을 입증합니다. 주의: 본 논문은 공격적일 수 있는 스테레오타입 예시를 포함하고 있습니다.
English
Stereotype benchmark datasets are crucial to detect and mitigate social
stereotypes about groups of people in NLP models. However, existing datasets
are limited in size and coverage, and are largely restricted to stereotypes
prevalent in the Western society. This is especially problematic as language
technologies gain hold across the globe. To address this gap, we present
SeeGULL, a broad-coverage stereotype dataset, built by utilizing generative
capabilities of large language models such as PaLM, and GPT-3, and leveraging a
globally diverse rater pool to validate the prevalence of those stereotypes in
society. SeeGULL is in English, and contains stereotypes about identity groups
spanning 178 countries across 8 different geo-political regions across 6
continents, as well as state-level identities within the US and India. We also
include fine-grained offensiveness scores for different stereotypes and
demonstrate their global disparities. Furthermore, we include comparative
annotations about the same groups by annotators living in the region vs. those
that are based in North America, and demonstrate that within-region stereotypes
about groups differ from those prevalent in North America. CONTENT WARNING:
This paper contains stereotype examples that may be offensive.