SeeGULL: 広範な地理文化的カバレッジを備えたステレオタイプベンチマーク 生成モデルを活用したアプローチ
SeeGULL: A Stereotype Benchmark with Broad Geo-Cultural Coverage Leveraging Generative Models
May 19, 2023
著者: Akshita Jha, Aida Davani, Chandan K. Reddy, Shachi Dave, Vinodkumar Prabhakaran, Sunipa Dev
cs.AI
要旨
ステレオタイプのベンチマークデータセットは、NLPモデルにおける人々のグループに関する社会的ステレオタイプを検出し、軽減するために重要です。しかし、既存のデータセットはサイズとカバレッジが限られており、主に西洋社会で普及しているステレオタイプに制限されています。これは、言語技術が世界中で普及するにつれて特に問題となります。このギャップを埋めるために、我々はSeeGULLを提案します。SeeGULLは、PaLMやGPT-3などの大規模言語モデルの生成能力を活用し、世界中の多様な評価者プールを利用して社会におけるそれらのステレオタイプの普及を検証した、広範なカバレッジを持つステレオタイプデータセットです。SeeGULLは英語で、6大陸にまたがる8つの地政学的地域にわたる178カ国のアイデンティティグループ、および米国とインドの州レベルのアイデンティティに関するステレオタイプを含んでいます。また、異なるステレオタイプに対する詳細な不快度スコアを含め、それらの世界的な差異を示します。さらに、地域に住むアノテーターと北米に基づくアノテーターによる同じグループに関する比較注釈を含め、地域内のグループに関するステレオタイプが北米で普及しているものと異なることを示します。コンテンツ警告：本論文には不快と感じられる可能性のあるステレオタイプの例が含まれています。
English
Stereotype benchmark datasets are crucial to detect and mitigate social
stereotypes about groups of people in NLP models. However, existing datasets
are limited in size and coverage, and are largely restricted to stereotypes
prevalent in the Western society. This is especially problematic as language
technologies gain hold across the globe. To address this gap, we present
SeeGULL, a broad-coverage stereotype dataset, built by utilizing generative
capabilities of large language models such as PaLM, and GPT-3, and leveraging a
globally diverse rater pool to validate the prevalence of those stereotypes in
society. SeeGULL is in English, and contains stereotypes about identity groups
spanning 178 countries across 8 different geo-political regions across 6
continents, as well as state-level identities within the US and India. We also
include fine-grained offensiveness scores for different stereotypes and
demonstrate their global disparities. Furthermore, we include comparative
annotations about the same groups by annotators living in the region vs. those
that are based in North America, and demonstrate that within-region stereotypes
about groups differ from those prevalent in North America. CONTENT WARNING:
This paper contains stereotype examples that may be offensive.