メディアランドスケープのマッピング：ウェブインタラクションを通じた事実報道と政治的バイアスの予測

Mapping the Media Landscape: Predicting Factual Reporting and Political Bias Through Web Interactions

October 23, 2024

著者: Dairazalia Sánchez-Cortés, Sergio Burdisso, Esaú Villatoro-Tello, Petr Motlicek

cs.AI

要旨

ニュースソースの偏り評価は、真実の証拠に依存する専門家、組織、研究者にとって極めて重要です。情報収集や報告において、特定の偏りの指標はコンテンツ分析から明確に把握できますが、政治的な偏りやフェイクニュースなどの記述はより大きな課題を提起します。本論文では、最近提案されたニュースメディア信頼性推定手法の拡張を提案し、アウトレットとその長期的なウェブインタラクションのモデリングに焦点を当てます。具体的には、大規模なニュースメディアハイパーリンクグラフ上で、4つの強化学習戦略の分類性能を評価します。私たちの実験は、事実報道と政治的な偏りという2つの難解な偏り記述を対象とし、ソースメディアレベルで著しい性能向上を示しました。さらに、CLEF 2023 CheckThat! Labチャレンジでの当社の手法を、F1スコアと公式MAEメトリックの両方で報告された結果を上回る形で検証します。さらに、事実報道と政治的な偏りのラベルでカテゴリ分けされた、最大規模のニュースソースメディアの注釈付きデータセットを公開することで貢献します。私たちの調査結果は、時間経過に伴うハイパーリンクの相互作用に基づいてニュースメディアソースをプロファイリングすることが可能であり、進化するメディアの景観を俯瞰することができると示唆しています。

English

Bias assessment of news sources is paramount for professionals, organizations, and researchers who rely on truthful evidence for information gathering and reporting. While certain bias indicators are discernible from content analysis, descriptors like political bias and fake news pose greater challenges. In this paper, we propose an extension to a recently presented news media reliability estimation method that focuses on modeling outlets and their longitudinal web interactions. Concretely, we assess the classification performance of four reinforcement learning strategies on a large news media hyperlink graph. Our experiments, targeting two challenging bias descriptors, factual reporting and political bias, showed a significant performance improvement at the source media level. Additionally, we validate our methods on the CLEF 2023 CheckThat! Lab challenge, outperforming the reported results in both, F1-score and the official MAE metric. Furthermore, we contribute by releasing the largest annotated dataset of news source media, categorized with factual reporting and political bias labels. Our findings suggest that profiling news media sources based on their hyperlink interactions over time is feasible, offering a bird's-eye view of evolving media landscapes.