뉴스 미디어 내러티브에 관한 FIGNEWS 공유 과제

The FIGNEWS Shared Task on News Media Narratives

July 25, 2024

저자: Wajdi Zaghouani, Mustafa Jarrar, Nizar Habash, Houda Bouamor, Imed Zitouni, Mona Diab, Samhaa R. El-Beltagy, Muhammed AbuOdeh

cs.AI

초록

우리는 ACL 2024와 함께 개최된 ArabicNLP 2024 컨퍼런스의 일환으로 조직된 FIGNEWS 공유 과제에 대한 개요를 제시한다. 이 공유 과제는 다국어 뉴스 게시물에서의 편향성과 선전적 요소 주석 작업을 다룬다. 우리는 이스라엘-가자 전쟁 초기를 사례 연구로 집중적으로 분석한다. 이 과제는 잠재적 편향성과 선전적 요소를 강조하는 다양한 서사를 분석하기 위한 프레임워크를 구축함으로써 주관적 작업에 대한 주석 가이드라인 개발에서의 협력을 촉진하는 것을 목표로 한다. 다양성을 촉진하고 장려하는 정신 속에서, 우리는 다국어 관점, 즉 영어, 프랑스어, 아랍어, 히브리어, 힌디어 등 다섯 가지 언어 내에서 이 문제를 다룬다. 총 17개 팀이 두 가지 주석 하위 과제인 편향성(16개 팀)과 선전적 요소(6개 팀)에 참여했다. 팀들은 가이드라인 개발, 주석 품질, 주석 양, 일관성 등 네 가지 평가 트랙에서 경쟁했다. 이 팀들은 총 129,800개의 데이터 포인트를 생성했다. 이 분야에 대한 주요 발견과 시사점에 대해 논의한다.

English

We present an overview of the FIGNEWS shared task, organized as part of the ArabicNLP 2024 conference co-located with ACL 2024. The shared task addresses bias and propaganda annotation in multilingual news posts. We focus on the early days of the Israel War on Gaza as a case study. The task aims to foster collaboration in developing annotation guidelines for subjective tasks by creating frameworks for analyzing diverse narratives highlighting potential bias and propaganda. In a spirit of fostering and encouraging diversity, we address the problem from a multilingual perspective, namely within five languages: English, French, Arabic, Hebrew, and Hindi. A total of 17 teams participated in two annotation subtasks: bias (16 teams) and propaganda (6 teams). The teams competed in four evaluation tracks: guidelines development, annotation quality, annotation quantity, and consistency. Collectively, the teams produced 129,800 data points. Key findings and implications for the field are discussed.