La Tarea Compartida FIGNEWS sobre Narrativas de Medios de Comunicación de Noticias

The FIGNEWS Shared Task on News Media Narratives

July 25, 2024

Autores: Wajdi Zaghouani, Mustafa Jarrar, Nizar Habash, Houda Bouamor, Imed Zitouni, Mona Diab, Samhaa R. El-Beltagy, Muhammed AbuOdeh

cs.AI

Resumen

Presentamos una visión general de la tarea compartida FIGNEWS, organizada como parte de la conferencia ArabicNLP 2024, celebrada conjuntamente con ACL 2024. La tarea compartida aborda la anotación de sesgos y propaganda en publicaciones de noticias multilingües. Nos centramos en los primeros días de la Guerra de Israel en Gaza como estudio de caso. El objetivo de la tarea es fomentar la colaboración en el desarrollo de pautas de anotación para tareas subjetivas, creando marcos para analizar diversas narrativas que resalten posibles sesgos y propaganda. Con el espíritu de fomentar y promover la diversidad, abordamos el problema desde una perspectiva multilingüe, específicamente en cinco idiomas: inglés, francés, árabe, hebreo e hindi. Un total de 17 equipos participaron en dos sub tareas de anotación: sesgo (16 equipos) y propaganda (6 equipos). Los equipos compitieron en cuatro categorías de evaluación: desarrollo de pautas, calidad de anotación, cantidad de anotación y consistencia. Colectivamente, los equipos produjeron 129,800 puntos de datos. Se discuten los hallazgos clave y las implicaciones para el campo.

English

We present an overview of the FIGNEWS shared task, organized as part of the ArabicNLP 2024 conference co-located with ACL 2024. The shared task addresses bias and propaganda annotation in multilingual news posts. We focus on the early days of the Israel War on Gaza as a case study. The task aims to foster collaboration in developing annotation guidelines for subjective tasks by creating frameworks for analyzing diverse narratives highlighting potential bias and propaganda. In a spirit of fostering and encouraging diversity, we address the problem from a multilingual perspective, namely within five languages: English, French, Arabic, Hebrew, and Hindi. A total of 17 teams participated in two annotation subtasks: bias (16 teams) and propaganda (6 teams). The teams competed in four evaluation tracks: guidelines development, annotation quality, annotation quantity, and consistency. Collectively, the teams produced 129,800 data points. Key findings and implications for the field are discussed.