AfriHate: Una colección multilingüe de discursos de odio y lenguaje abusivo para idiomas africanos.

AfriHate: A Multilingual Collection of Hate Speech and Abusive Language Datasets for African Languages

January 14, 2025

Autores: Shamsuddeen Hassan Muhammad, Idris Abdulmumin, Abinew Ali Ayele, David Ifeoluwa Adelani, Ibrahim Said Ahmad, Saminu Mohammad Aliyu, Nelson Odhiambo Onyango, Lilian D. A. Wanzare, Samuel Rutunda, Lukman Jibril Aliyu, Esubalew Alemneh, Oumaima Hourrane, Hagos Tesfahun Gebremichael, Elyas Abdi Ismail, Meriem Beloucif, Ebrahim Chekol Jibril, Andiswa Bukula, Rooweither Mabuya, Salomey Osei, Abigail Oppong, Tadesse Destaw Belay, Tadesse Kebede Guge, Tesfa Tegegne Asfaw, Chiamaka Ijeoma Chukwuneke, Paul Röttger, Seid Muhie Yimam, Nedjma Ousidhoum

cs.AI

Resumen

El discurso de odio y el lenguaje abusivo son fenómenos globales que requieren conocimiento del contexto sociocultural para ser comprendidos, identificados y moderados. Sin embargo, en muchas regiones del Sur Global, se han documentado varios casos de (1) ausencia de moderación y (2) censura debido a la dependencia de la detección de palabras clave fuera de contexto. Además, con frecuencia, individuos de alto perfil han estado en el centro del proceso de moderación, mientras que se han pasado por alto campañas de discurso de odio dirigidas y masivas contra minorías. Estas limitaciones se deben principalmente a la falta de datos de alta calidad en los idiomas locales y al fracaso en incluir a las comunidades locales en los procesos de recopilación, anotación y moderación. Para abordar este problema, presentamos AfriHate: una colección multilingüe de conjuntos de datos de discurso de odio y lenguaje abusivo en 15 idiomas africanos. Cada instancia en AfriHate está anotada por hablantes nativos familiarizados con la cultura local. Informamos sobre los desafíos relacionados con la construcción de los conjuntos de datos y presentamos varios resultados de líneas base de clasificación con y sin el uso de LLMs. Los conjuntos de datos, anotaciones individuales y léxicos de discurso de odio y lenguaje ofensivo están disponibles en https://github.com/AfriHate/AfriHate

English

Hate speech and abusive language are global phenomena that need socio-cultural background knowledge to be understood, identified, and moderated. However, in many regions of the Global South, there have been several documented occurrences of (1) absence of moderation and (2) censorship due to the reliance on keyword spotting out of context. Further, high-profile individuals have frequently been at the center of the moderation process, while large and targeted hate speech campaigns against minorities have been overlooked. These limitations are mainly due to the lack of high-quality data in the local languages and the failure to include local communities in the collection, annotation, and moderation processes. To address this issue, we present AfriHate: a multilingual collection of hate speech and abusive language datasets in 15 African languages. Each instance in AfriHate is annotated by native speakers familiar with the local culture. We report the challenges related to the construction of the datasets and present various classification baseline results with and without using LLMs. The datasets, individual annotations, and hate speech and offensive language lexicons are available on https://github.com/AfriHate/AfriHate