LLMと人間の専門家によるファクトチェック手法を用いたニュースメディアの事実性とバイアスのプロファイリング

Profiling News Media for Factuality and Bias Using LLMs and the Fact-Checking Methodology of Human Experts

June 14, 2025

著者: Zain Muhammad Mujahid, Dilshod Azizov, Maha Tufail Agro, Preslav Nakov

cs.AI

要旨

誤情報や偽情報がオンライン上で拡散する時代において、読者が読んでいる内容を理解する力を強化することが極めて重要である。この方向性における重要な取り組みは、手動または自動のファクトチェックに依存しているが、情報が限られた新興の主張に対しては困難を伴うことがある。このようなシナリオは、主張の出典の信頼性と政治的バイアスを評価することで対処できる。つまり、個々の主張や記事ではなく、ニュースメディア全体を特徴づけることである。これは重要な研究分野であるが、十分に研究されていない。先行研究では言語的および社会的文脈が検討されてきたが、個々の記事やソーシャルメディア上の情報を分析するのではなく、プロのファクトチェッカーがメディア全体の事実性と政治的バイアスを評価する際に用いる基準を模倣した新たな方法論を提案する。具体的には、これらの基準に基づいて多様なプロンプトを設計し、大規模言語モデル（LLM）から応答を引き出し、それらを集約して予測を行う。複数のLLMを用いた広範な実験を通じて、強力なベースラインを大幅に上回る改善を示すだけでなく、メディアの人気度や地域がモデルの性能に与える影響について詳細なエラー分析を提供する。さらに、アブレーションスタディを実施し、これらの改善に寄与するデータセットの主要な構成要素を明らかにする。今後の研究を促進するため、データセットとコードをhttps://github.com/mbzuai-nlp/llm-media-profilingで公開した。

English

In an age characterized by the proliferation of mis- and disinformation online, it is critical to empower readers to understand the content they are reading. Important efforts in this direction rely on manual or automatic fact-checking, which can be challenging for emerging claims with limited information. Such scenarios can be handled by assessing the reliability and the political bias of the source of the claim, i.e., characterizing entire news outlets rather than individual claims or articles. This is an important but understudied research direction. While prior work has looked into linguistic and social contexts, we do not analyze individual articles or information in social media. Instead, we propose a novel methodology that emulates the criteria that professional fact-checkers use to assess the factuality and political bias of an entire outlet. Specifically, we design a variety of prompts based on these criteria and elicit responses from large language models (LLMs), which we aggregate to make predictions. In addition to demonstrating sizable improvements over strong baselines via extensive experiments with multiple LLMs, we provide an in-depth error analysis of the effect of media popularity and region on model performance. Further, we conduct an ablation study to highlight the key components of our dataset that contribute to these improvements. To facilitate future research, we released our dataset and code at https://github.com/mbzuai-nlp/llm-media-profiling.