A Tarefa Compartilhada FIGNEWS sobre Narrativas de Mídias de Notícias

The FIGNEWS Shared Task on News Media Narratives

July 25, 2024

Autores: Wajdi Zaghouani, Mustafa Jarrar, Nizar Habash, Houda Bouamor, Imed Zitouni, Mona Diab, Samhaa R. El-Beltagy, Muhammed AbuOdeh

cs.AI

Resumo

Apresentamos uma visão geral da tarefa compartilhada FIGNEWS, organizada como parte da conferência ArabicNLP 2024, realizada em conjunto com a ACL 2024. A tarefa compartilhada aborda a anotação de viés e propaganda em postagens de notícias multilíngues. Nos concentramos nos primeiros dias da Guerra de Israel em Gaza como estudo de caso. O objetivo da tarefa é promover a colaboração no desenvolvimento de diretrizes de anotação para tarefas subjetivas, criando estruturas para analisar narrativas diversas que destacam possíveis viés e propaganda. Com o intuito de promover e incentivar a diversidade, abordamos o problema sob uma perspectiva multilíngue, especificamente em cinco idiomas: inglês, francês, árabe, hebraico e hindi. Um total de 17 equipes participaram de duas sub-tarefas de anotação: viés (16 equipes) e propaganda (6 equipes). As equipes competiram em quatro categorias de avaliação: desenvolvimento de diretrizes, qualidade de anotação, quantidade de anotação e consistência. Coletivamente, as equipes produziram 129.800 pontos de dados. São discutidas descobertas-chave e implicações para o campo.

English

We present an overview of the FIGNEWS shared task, organized as part of the ArabicNLP 2024 conference co-located with ACL 2024. The shared task addresses bias and propaganda annotation in multilingual news posts. We focus on the early days of the Israel War on Gaza as a case study. The task aims to foster collaboration in developing annotation guidelines for subjective tasks by creating frameworks for analyzing diverse narratives highlighting potential bias and propaganda. In a spirit of fostering and encouraging diversity, we address the problem from a multilingual perspective, namely within five languages: English, French, Arabic, Hebrew, and Hindi. A total of 17 teams participated in two annotation subtasks: bias (16 teams) and propaganda (6 teams). The teams competed in four evaluation tracks: guidelines development, annotation quality, annotation quantity, and consistency. Collectively, the teams produced 129,800 data points. Key findings and implications for the field are discussed.