La Shared Task FIGNEWS sulle Narrative dei Media Giornalistici

The FIGNEWS Shared Task on News Media Narratives

July 25, 2024

Autori: Wajdi Zaghouani, Mustafa Jarrar, Nizar Habash, Houda Bouamor, Imed Zitouni, Mona Diab, Samhaa R. El-Beltagy, Muhammed AbuOdeh

cs.AI

Abstract

Presentiamo una panoramica del task condiviso FIGNEWS, organizzato nell'ambito della conferenza ArabicNLP 2024 in concomitanza con ACL 2024. Il task condiviso affronta l'annotazione di bias e propaganda in post di notizie multilingue. Ci concentriamo sui primi giorni della guerra di Israele a Gaza come caso di studio. L'obiettivo del task è promuovere la collaborazione nello sviluppo di linee guida per l'annotazione di compiti soggettivi, creando framework per analizzare narrazioni diverse che evidenziano potenziali bias e propaganda. In uno spirito di promozione e incoraggiamento della diversità, affrontiamo il problema da una prospettiva multilingue, in particolare all'interno di cinque lingue: inglese, francese, arabo, ebraico e hindi. Un totale di 17 team ha partecipato a due sottotask di annotazione: bias (16 team) e propaganda (6 team). I team hanno gareggiato in quattro tracce di valutazione: sviluppo delle linee guida, qualità dell'annotazione, quantità dell'annotazione e coerenza. Collettivamente, i team hanno prodotto 129.800 punti dati. Vengono discussi i risultati chiave e le implicazioni per il campo.

English

We present an overview of the FIGNEWS shared task, organized as part of the ArabicNLP 2024 conference co-located with ACL 2024. The shared task addresses bias and propaganda annotation in multilingual news posts. We focus on the early days of the Israel War on Gaza as a case study. The task aims to foster collaboration in developing annotation guidelines for subjective tasks by creating frameworks for analyzing diverse narratives highlighting potential bias and propaganda. In a spirit of fostering and encouraging diversity, we address the problem from a multilingual perspective, namely within five languages: English, French, Arabic, Hebrew, and Hindi. A total of 17 teams participated in two annotation subtasks: bias (16 teams) and propaganda (6 teams). The teams competed in four evaluation tracks: guidelines development, annotation quality, annotation quantity, and consistency. Collectively, the teams produced 129,800 data points. Key findings and implications for the field are discussed.