Die FIGNEWS Shared Task zu Nachrichtenmedien-Narrativen

The FIGNEWS Shared Task on News Media Narratives

July 25, 2024

Autoren: Wajdi Zaghouani, Mustafa Jarrar, Nizar Habash, Houda Bouamor, Imed Zitouni, Mona Diab, Samhaa R. El-Beltagy, Muhammed AbuOdeh

cs.AI

Zusammenfassung

Wir präsentieren einen Überblick über die FIGNEWS Shared Task, der im Rahmen der ArabicNLP 2024 Konferenz organisiert wurde, die zusammen mit ACL 2024 stattfand. Die Shared Task befasst sich mit der Annotation von Voreingenommenheit und Propaganda in mehrsprachigen Nachrichtenbeiträgen. Wir konzentrieren uns auf die Anfangsphase des Israel-Krieges gegen Gaza als Fallstudie. Das Ziel der Aufgabe besteht darin, die Zusammenarbeit bei der Entwicklung von Annotierungsrichtlinien für subjektive Aufgaben zu fördern, indem Rahmenbedingungen für die Analyse verschiedener Erzählungen geschaffen werden, die potenzielle Voreingenommenheit und Propaganda hervorheben. In einem Geist der Förderung und Ermutigung von Vielfalt behandeln wir das Problem aus einer mehrsprachigen Perspektive, nämlich in fünf Sprachen: Englisch, Französisch, Arabisch, Hebräisch und Hindi. Insgesamt nahmen 17 Teams an zwei Annotierungs-Teilaufgaben teil: Voreingenommenheit (16 Teams) und Propaganda (6 Teams). Die Teams konkurrierten in vier Bewertungsbereichen: Entwicklung von Richtlinien, Annotierungsqualität, Annotierungsmenge und Konsistenz. Insgesamt produzierten die Teams 129.800 Datenpunkte. Schlüsselerkenntnisse und Implikationen für das Feld werden diskutiert.

English

We present an overview of the FIGNEWS shared task, organized as part of the ArabicNLP 2024 conference co-located with ACL 2024. The shared task addresses bias and propaganda annotation in multilingual news posts. We focus on the early days of the Israel War on Gaza as a case study. The task aims to foster collaboration in developing annotation guidelines for subjective tasks by creating frameworks for analyzing diverse narratives highlighting potential bias and propaganda. In a spirit of fostering and encouraging diversity, we address the problem from a multilingual perspective, namely within five languages: English, French, Arabic, Hebrew, and Hindi. A total of 17 teams participated in two annotation subtasks: bias (16 teams) and propaganda (6 teams). The teams competed in four evaluation tracks: guidelines development, annotation quality, annotation quantity, and consistency. Collectively, the teams produced 129,800 data points. Key findings and implications for the field are discussed.