ニュースメディアのナラティブに関するFIGNEWS共有タスク

The FIGNEWS Shared Task on News Media Narratives

July 25, 2024

著者: Wajdi Zaghouani, Mustafa Jarrar, Nizar Habash, Houda Bouamor, Imed Zitouni, Mona Diab, Samhaa R. El-Beltagy, Muhammed AbuOdeh

cs.AI

要旨

FIGNEWS共有タスクの概要を紹介します。本タスクは、ACL 2024と共催されるArabicNLP 2024カンファレンスの一環として開催されました。この共有タスクは、多言語ニュース投稿におけるバイアスとプロパガンダの注釈付けに取り組むものです。具体的なケーススタディとして、イスラエル・ガザ戦争の初期段階に焦点を当てています。本タスクの目的は、潜在的なバイアスやプロパガンダを強調する多様なナラティブを分析するためのフレームワークを作成することで、主観的なタスクのための注釈ガイドラインの開発における協力を促進することです。多様性を育み、奨励する精神のもと、英語、フランス語、アラビア語、ヘブライ語、ヒンディー語の5言語を対象とした多言語的視点からこの問題に取り組みました。合計17チームが、バイアス（16チーム）とプロパガンダ（6チーム）の2つの注釈サブタスクに参加しました。各チームは、ガイドライン開発、注釈品質、注釈量、一貫性の4つの評価トラックで競いました。全体で、チームは129,800のデータポイントを生成しました。本分野における主要な発見とその意義についても議論します。

English

We present an overview of the FIGNEWS shared task, organized as part of the ArabicNLP 2024 conference co-located with ACL 2024. The shared task addresses bias and propaganda annotation in multilingual news posts. We focus on the early days of the Israel War on Gaza as a case study. The task aims to foster collaboration in developing annotation guidelines for subjective tasks by creating frameworks for analyzing diverse narratives highlighting potential bias and propaganda. In a spirit of fostering and encouraging diversity, we address the problem from a multilingual perspective, namely within five languages: English, French, Arabic, Hebrew, and Hindi. A total of 17 teams participated in two annotation subtasks: bias (16 teams) and propaganda (6 teams). The teams competed in four evaluation tracks: guidelines development, annotation quality, annotation quantity, and consistency. Collectively, the teams produced 129,800 data points. Key findings and implications for the field are discussed.