Profilazione dei media d'informazione per fattualità e bias utilizzando LLM e la metodologia di fact-checking degli esperti umani

Profiling News Media for Factuality and Bias Using LLMs and the Fact-Checking Methodology of Human Experts

June 14, 2025

Autori: Zain Muhammad Mujahid, Dilshod Azizov, Maha Tufail Agro, Preslav Nakov

cs.AI

Abstract

In un'epoca caratterizzata dalla proliferazione di disinformazione e misinformazione online, è fondamentale dotare i lettori degli strumenti per comprendere i contenuti che stanno leggendo. Importanti sforzi in questa direzione si basano su attività di fact-checking manuale o automatico, che possono risultare complesse per affermazioni emergenti con informazioni limitate. Tali scenari possono essere gestiti valutando l'affidabilità e il bias politico della fonte dell'affermazione, ovvero caratterizzando interi organi di informazione piuttosto che singole affermazioni o articoli. Questa è una direzione di ricerca importante ma ancora poco esplorata. Mentre lavori precedenti hanno esaminato contesti linguistici e sociali, noi non analizziamo singoli articoli o informazioni sui social media. Proponiamo invece una metodologia innovativa che emula i criteri utilizzati dai fact-checker professionisti per valutare la veridicità e il bias politico di un intero organo di informazione. Nello specifico, progettiamo una varietà di prompt basati su questi criteri e raccogliamo le risposte da modelli linguistici di grandi dimensioni (LLM), che aggregiamo per formulare previsioni. Oltre a dimostrare miglioramenti significativi rispetto a baseline solide attraverso esperimenti estesi con più LLM, forniamo un'analisi approfondita degli errori relativi all'effetto della popolarità e della regione dei media sulle prestazioni del modello. Inoltre, conduciamo uno studio di ablazione per evidenziare i componenti chiave del nostro dataset che contribuiscono a questi miglioramenti. Per facilitare la ricerca futura, abbiamo rilasciato il nostro dataset e il codice all'indirizzo https://github.com/mbzuai-nlp/llm-media-profiling.

English

In an age characterized by the proliferation of mis- and disinformation online, it is critical to empower readers to understand the content they are reading. Important efforts in this direction rely on manual or automatic fact-checking, which can be challenging for emerging claims with limited information. Such scenarios can be handled by assessing the reliability and the political bias of the source of the claim, i.e., characterizing entire news outlets rather than individual claims or articles. This is an important but understudied research direction. While prior work has looked into linguistic and social contexts, we do not analyze individual articles or information in social media. Instead, we propose a novel methodology that emulates the criteria that professional fact-checkers use to assess the factuality and political bias of an entire outlet. Specifically, we design a variety of prompts based on these criteria and elicit responses from large language models (LLMs), which we aggregate to make predictions. In addition to demonstrating sizable improvements over strong baselines via extensive experiments with multiple LLMs, we provide an in-depth error analysis of the effect of media popularity and region on model performance. Further, we conduct an ablation study to highlight the key components of our dataset that contribute to these improvements. To facilitate future research, we released our dataset and code at https://github.com/mbzuai-nlp/llm-media-profiling.