Совместная задача FIGNEWS по повествовательным линиям новостных СМИ

The FIGNEWS Shared Task on News Media Narratives

July 25, 2024

Авторы: Wajdi Zaghouani, Mustafa Jarrar, Nizar Habash, Houda Bouamor, Imed Zitouni, Mona Diab, Samhaa R. El-Beltagy, Muhammed AbuOdeh

cs.AI

Аннотация

Мы представляем обзор совместной задачи FIGNEWS, организованной в рамках конференции ArabicNLP 2024, совместно с ACL 2024. Совместная задача рассматривает аннотацию предвзятости и пропаганды в многоязычных новостных сообщениях. Мы сосредотачиваемся на начальных днях войны Израиля с Газой как на кейс-стади. Задача направлена на поощрение сотрудничества в разработке руководящих принципов аннотации для субъективных задач путем создания структур для анализа разнообразных повествований, выделяя потенциальную предвзятость и пропаганду. В духе поощрения и поддержки разнообразия мы рассматриваем проблему с мультиязычной перспективы, а именно на пяти языках: английском, французском, арабском, иврите и хинди. Всего 17 команд участвовали в двух подзадачах аннотации: предвзятость (16 команд) и пропаганда (6 команд). Команды соревновались в четырех оценочных треках: разработка руководящих принципов, качество аннотации, количество аннотаций и согласованность. Коллективно команды создали 129,800 данных. Обсуждаются ключевые результаты и выводы для области.

English

We present an overview of the FIGNEWS shared task, organized as part of the ArabicNLP 2024 conference co-located with ACL 2024. The shared task addresses bias and propaganda annotation in multilingual news posts. We focus on the early days of the Israel War on Gaza as a case study. The task aims to foster collaboration in developing annotation guidelines for subjective tasks by creating frameworks for analyzing diverse narratives highlighting potential bias and propaganda. In a spirit of fostering and encouraging diversity, we address the problem from a multilingual perspective, namely within five languages: English, French, Arabic, Hebrew, and Hindi. A total of 17 teams participated in two annotation subtasks: bias (16 teams) and propaganda (6 teams). The teams competed in four evaluation tracks: guidelines development, annotation quality, annotation quantity, and consistency. Collectively, the teams produced 129,800 data points. Key findings and implications for the field are discussed.