Perfilando Veículos de Notícias quanto à Factualidade e Viés Usando LLMs e a Metodologia de Verificação de Fatos de Especialistas Humanos

Profiling News Media for Factuality and Bias Using LLMs and the Fact-Checking Methodology of Human Experts

June 14, 2025

Autores: Zain Muhammad Mujahid, Dilshod Azizov, Maha Tufail Agro, Preslav Nakov

cs.AI

Resumo

Em uma era caracterizada pela proliferação de desinformação e má informação online, é fundamental capacitar os leitores a compreender o conteúdo que estão lendo. Esforços importantes nessa direção dependem de verificações de fatos manuais ou automáticas, o que pode ser desafiador para alegações emergentes com informações limitadas. Tais cenários podem ser tratados avaliando a confiabilidade e o viés político da fonte da alegação, ou seja, caracterizando veículos de notícias inteiros em vez de alegações ou artigos individuais. Essa é uma direção de pesquisa importante, mas pouco estudada. Embora trabalhos anteriores tenham explorado contextos linguísticos e sociais, não analisamos artigos individuais ou informações em mídias sociais. Em vez disso, propomos uma metodologia inovadora que emula os critérios usados por verificadores de fatos profissionais para avaliar a factualidade e o viés político de um veículo inteiro. Especificamente, projetamos uma variedade de prompts com base nesses critérios e obtemos respostas de modelos de linguagem de grande escala (LLMs, na sigla em inglês), que agregamos para fazer previsões. Além de demonstrar melhorias significativas em relação a baselines robustas por meio de extensos experimentos com múltiplos LLMs, fornecemos uma análise detalhada de erros sobre o efeito da popularidade e da região da mídia no desempenho do modelo. Além disso, realizamos um estudo de ablação para destacar os componentes-chave de nosso conjunto de dados que contribuem para essas melhorias. Para facilitar pesquisas futuras, disponibilizamos nosso conjunto de dados e código em https://github.com/mbzuai-nlp/llm-media-profiling.

English

In an age characterized by the proliferation of mis- and disinformation online, it is critical to empower readers to understand the content they are reading. Important efforts in this direction rely on manual or automatic fact-checking, which can be challenging for emerging claims with limited information. Such scenarios can be handled by assessing the reliability and the political bias of the source of the claim, i.e., characterizing entire news outlets rather than individual claims or articles. This is an important but understudied research direction. While prior work has looked into linguistic and social contexts, we do not analyze individual articles or information in social media. Instead, we propose a novel methodology that emulates the criteria that professional fact-checkers use to assess the factuality and political bias of an entire outlet. Specifically, we design a variety of prompts based on these criteria and elicit responses from large language models (LLMs), which we aggregate to make predictions. In addition to demonstrating sizable improvements over strong baselines via extensive experiments with multiple LLMs, we provide an in-depth error analysis of the effect of media popularity and region on model performance. Further, we conduct an ablation study to highlight the key components of our dataset that contribute to these improvements. To facilitate future research, we released our dataset and code at https://github.com/mbzuai-nlp/llm-media-profiling.