La tâche partagée FIGNEWS sur les récits des médias d'information

The FIGNEWS Shared Task on News Media Narratives

July 25, 2024

Auteurs: Wajdi Zaghouani, Mustafa Jarrar, Nizar Habash, Houda Bouamor, Imed Zitouni, Mona Diab, Samhaa R. El-Beltagy, Muhammed AbuOdeh

cs.AI

Résumé

Nous présentons un aperçu de la tâche partagée FIGNEWS, organisée dans le cadre de la conférence ArabicNLP 2024 co-localisée avec ACL 2024. Cette tâche partagée aborde l'annotation des biais et de la propagande dans des articles de presse multilingues. Nous nous concentrons sur les premiers jours de la guerre d'Israël à Gaza comme étude de cas. L'objectif de cette tâche est de favoriser la collaboration dans le développement de directives d'annotation pour des tâches subjectives en créant des cadres d'analyse des récits divers mettant en lumière les biais potentiels et la propagande. Dans un esprit de promotion et d'encouragement de la diversité, nous abordons le problème d'une perspective multilingue, à savoir dans cinq langues : l'anglais, le français, l'arabe, l'hébreu et l'hindi. Au total, 17 équipes ont participé à deux sous-tâches d'annotation : les biais (16 équipes) et la propagande (6 équipes). Les équipes ont concouru dans quatre pistes d'évaluation : développement des directives, qualité de l'annotation, quantité d'annotation et cohérence. Collectivement, les équipes ont produit 129 800 points de données. Les principales conclusions et implications pour le domaine sont discutées.

English

We present an overview of the FIGNEWS shared task, organized as part of the ArabicNLP 2024 conference co-located with ACL 2024. The shared task addresses bias and propaganda annotation in multilingual news posts. We focus on the early days of the Israel War on Gaza as a case study. The task aims to foster collaboration in developing annotation guidelines for subjective tasks by creating frameworks for analyzing diverse narratives highlighting potential bias and propaganda. In a spirit of fostering and encouraging diversity, we address the problem from a multilingual perspective, namely within five languages: English, French, Arabic, Hebrew, and Hindi. A total of 17 teams participated in two annotation subtasks: bias (16 teams) and propaganda (6 teams). The teams competed in four evaluation tracks: guidelines development, annotation quality, annotation quantity, and consistency. Collectively, the teams produced 129,800 data points. Key findings and implications for the field are discussed.