De FIGNEWS Shared Task over Nieuwsmedia Narratieven

The FIGNEWS Shared Task on News Media Narratives

July 25, 2024

Auteurs: Wajdi Zaghouani, Mustafa Jarrar, Nizar Habash, Houda Bouamor, Imed Zitouni, Mona Diab, Samhaa R. El-Beltagy, Muhammed AbuOdeh

cs.AI

Samenvatting

We presenteren een overzicht van de FIGNEWS shared task, georganiseerd als onderdeel van de ArabicNLP 2024-conferentie, die gelijktijdig plaatsvindt met ACL 2024. De shared task richt zich op het annoteren van bias en propaganda in meertalige nieuwsberichten. We richten ons op de eerste dagen van de Israëlische oorlog in Gaza als casestudy. De taak heeft als doel samenwerking te bevorderen bij het ontwikkelen van annotatierichtlijnen voor subjectieve taken door kaders te creëren voor het analyseren van diverse narratieven die mogelijke bias en propaganda benadrukken. In een geest van het bevorderen en aanmoedigen van diversiteit, benaderen we het probleem vanuit een meertalig perspectief, namelijk binnen vijf talen: Engels, Frans, Arabisch, Hebreeuws en Hindi. In totaal namen 17 teams deel aan twee annotatiesubtaken: bias (16 teams) en propaganda (6 teams). De teams streden in vier evaluatietracks: ontwikkeling van richtlijnen, annotatiekwaliteit, annotatiehoeveelheid en consistentie. Collectief produceerden de teams 129.800 datapunten. Belangrijke bevindingen en implicaties voor het vakgebied worden besproken.

English

We present an overview of the FIGNEWS shared task, organized as part of the ArabicNLP 2024 conference co-located with ACL 2024. The shared task addresses bias and propaganda annotation in multilingual news posts. We focus on the early days of the Israel War on Gaza as a case study. The task aims to foster collaboration in developing annotation guidelines for subjective tasks by creating frameworks for analyzing diverse narratives highlighting potential bias and propaganda. In a spirit of fostering and encouraging diversity, we address the problem from a multilingual perspective, namely within five languages: English, French, Arabic, Hebrew, and Hindi. A total of 17 teams participated in two annotation subtasks: bias (16 teams) and propaganda (6 teams). The teams competed in four evaluation tracks: guidelines development, annotation quality, annotation quantity, and consistency. Collectively, the teams produced 129,800 data points. Key findings and implications for the field are discussed.