Profileren van nieuwsmedia op feitelijkheid en vooringenomenheid met behulp van LLM's en de factcheckmethodologie van menselijke experts

Profiling News Media for Factuality and Bias Using LLMs and the Fact-Checking Methodology of Human Experts

June 14, 2025

Auteurs: Zain Muhammad Mujahid, Dilshod Azizov, Maha Tufail Agro, Preslav Nakov

cs.AI

Samenvatting

In een tijdperk dat wordt gekenmerkt door de verspreiding van mis- en desinformatie online, is het cruciaal om lezers in staat te stellen de inhoud die ze lezen te begrijpen. Belangrijke inspanningen in deze richting zijn gebaseerd op handmatige of automatische feitencontrole, wat uitdagend kan zijn voor nieuwe claims met beperkte informatie. Dergelijke scenario's kunnen worden aangepakt door de betrouwbaarheid en de politieke bias van de bron van de claim te beoordelen, dat wil zeggen, door hele nieuwsorganisaties te karakteriseren in plaats van individuele claims of artikelen. Dit is een belangrijke maar onderbelichte onderzoeksrichting. Hoewel eerder werk heeft gekeken naar linguïstische en sociale contexten, analyseren wij geen individuele artikelen of informatie op sociale media. In plaats daarvan stellen we een nieuwe methodologie voor die de criteria nabootst die professionele factcheckers gebruiken om de feitelijkheid en politieke bias van een hele nieuwsorganisatie te beoordelen. Specifiek ontwerpen we een verscheidenheid aan prompts op basis van deze criteria en vragen we reacties op van grote taalmodellen (LLM's), die we aggregeren om voorspellingen te doen. Naast het aantonen van aanzienlijke verbeteringen ten opzichte van sterke basislijnen via uitgebreide experimenten met meerdere LLM's, bieden we een diepgaande foutenanalyse van het effect van mediapopulariteit en regio op de modelprestaties. Verder voeren we een ablatiestudie uit om de belangrijkste componenten van onze dataset te benadrukken die bijdragen aan deze verbeteringen. Om toekomstig onderzoek te vergemakkelijken, hebben we onze dataset en code vrijgegeven op https://github.com/mbzuai-nlp/llm-media-profiling.

English

In an age characterized by the proliferation of mis- and disinformation online, it is critical to empower readers to understand the content they are reading. Important efforts in this direction rely on manual or automatic fact-checking, which can be challenging for emerging claims with limited information. Such scenarios can be handled by assessing the reliability and the political bias of the source of the claim, i.e., characterizing entire news outlets rather than individual claims or articles. This is an important but understudied research direction. While prior work has looked into linguistic and social contexts, we do not analyze individual articles or information in social media. Instead, we propose a novel methodology that emulates the criteria that professional fact-checkers use to assess the factuality and political bias of an entire outlet. Specifically, we design a variety of prompts based on these criteria and elicit responses from large language models (LLMs), which we aggregate to make predictions. In addition to demonstrating sizable improvements over strong baselines via extensive experiments with multiple LLMs, we provide an in-depth error analysis of the effect of media popularity and region on model performance. Further, we conduct an ablation study to highlight the key components of our dataset that contribute to these improvements. To facilitate future research, we released our dataset and code at https://github.com/mbzuai-nlp/llm-media-profiling.