Картирование медийного ландшафта: прогнозирование фактической отчетности и политического предвзятости через веб-взаимодействия

Mapping the Media Landscape: Predicting Factual Reporting and Political Bias Through Web Interactions

October 23, 2024

Авторы: Dairazalia Sánchez-Cortés, Sergio Burdisso, Esaú Villatoro-Tello, Petr Motlicek

cs.AI

Аннотация

Оценка предвзятости новостных источников является важной для специалистов, организаций и исследователей, которые полагаются на достоверные данные для сбора и предоставления информации. Хотя определенные индикаторы предвзятости могут быть выявлены путем анализа контента, такие характеристики, как политическая предвзятость и фейковые новости, представляют большие вызовы. В данной статье мы предлагаем расширение недавно представленного метода оценки надежности новостных СМИ, который сосредотачивается на моделировании изданий и их долгосрочных взаимодействий в сети. Конкретно, мы оцениваем производительность классификации четырех стратегий обучения с подкреплением на большом графе гиперссылок новостных СМИ. Наши эксперименты, нацеленные на два сложных индикатора предвзятости - фактическое информирование и политическую предвзятость, показали значительное улучшение производительности на уровне источников СМИ. Кроме того, мы проверяем наши методы на испытаниях CLEF 2023 CheckThat! Lab, превзойдя отчетные результаты как по F1-мере, так и по официальной метрике MAE. Более того, мы вносим вклад, выпустив крупнейший аннотированный набор данных новостных источников, классифицированных по меткам фактического информирования и политической предвзятости. Наши результаты подтверждают, что профилирование новостных источников на основе их взаимодействий по гиперссылкам со временем возможно, предлагая общий обзор развивающихся медиа-ландшафтов.

English

Bias assessment of news sources is paramount for professionals, organizations, and researchers who rely on truthful evidence for information gathering and reporting. While certain bias indicators are discernible from content analysis, descriptors like political bias and fake news pose greater challenges. In this paper, we propose an extension to a recently presented news media reliability estimation method that focuses on modeling outlets and their longitudinal web interactions. Concretely, we assess the classification performance of four reinforcement learning strategies on a large news media hyperlink graph. Our experiments, targeting two challenging bias descriptors, factual reporting and political bias, showed a significant performance improvement at the source media level. Additionally, we validate our methods on the CLEF 2023 CheckThat! Lab challenge, outperforming the reported results in both, F1-score and the official MAE metric. Furthermore, we contribute by releasing the largest annotated dataset of news source media, categorized with factual reporting and political bias labels. Our findings suggest that profiling news media sources based on their hyperlink interactions over time is feasible, offering a bird's-eye view of evolving media landscapes.