Profiling von Nachrichtenmedien auf Faktizität und Voreingenommenheit unter Verwendung von LLMs und der Faktenprüfungsmethodik menschlicher Experten

Profiling News Media for Factuality and Bias Using LLMs and the Fact-Checking Methodology of Human Experts

June 14, 2025

Autoren: Zain Muhammad Mujahid, Dilshod Azizov, Maha Tufail Agro, Preslav Nakov

cs.AI

Zusammenfassung

In einem Zeitalter, das durch die Verbreitung von Fehl- und Desinformation im Internet geprägt ist, ist es entscheidend, Leserinnen und Leser zu befähigen, die Inhalte, die sie lesen, zu verstehen. Wichtige Bemühungen in diese Richtung stützen sich auf manuelle oder automatische Faktenprüfung, die bei neu auftretenden Behauptungen mit begrenzten Informationen jedoch herausfordernd sein kann. Solche Szenarien können bewältigt werden, indem die Zuverlässigkeit und die politische Voreingenommenheit der Quelle der Behauptung bewertet werden, d. h. indem gesamte Nachrichtenquellen charakterisiert werden, anstatt einzelne Behauptungen oder Artikel. Dies ist eine wichtige, aber bisher wenig erforschte Forschungsrichtung. Während frühere Arbeiten linguistische und soziale Kontexte untersucht haben, analysieren wir nicht einzelne Artikel oder Informationen in sozialen Medien. Stattdessen schlagen wir eine neuartige Methodik vor, die die Kriterien nachahmt, die professionelle Faktenprüfer verwenden, um die Faktizität und politische Voreingenommenheit einer gesamten Nachrichtenquelle zu bewerten. Konkret entwerfen wir eine Vielzahl von Prompts basierend auf diesen Kriterien und holen Antworten von großen Sprachmodellen (LLMs) ein, die wir aggregieren, um Vorhersagen zu treffen. Neben der Demonstration erheblicher Verbesserungen gegenüber starken Baselines durch umfangreiche Experimente mit mehreren LLMs, bieten wir eine detaillierte Fehleranalyse der Auswirkungen von Medienpopularität und Region auf die Modellleistung. Darüber hinaus führen wir eine Ablationsstudie durch, um die Schlüsselkomponenten unseres Datensatzes hervorzuheben, die zu diesen Verbesserungen beitragen. Um zukünftige Forschung zu erleichtern, haben wir unseren Datensatz und unseren Code unter https://github.com/mbzuai-nlp/llm-media-profiling veröffentlicht.

English

In an age characterized by the proliferation of mis- and disinformation online, it is critical to empower readers to understand the content they are reading. Important efforts in this direction rely on manual or automatic fact-checking, which can be challenging for emerging claims with limited information. Such scenarios can be handled by assessing the reliability and the political bias of the source of the claim, i.e., characterizing entire news outlets rather than individual claims or articles. This is an important but understudied research direction. While prior work has looked into linguistic and social contexts, we do not analyze individual articles or information in social media. Instead, we propose a novel methodology that emulates the criteria that professional fact-checkers use to assess the factuality and political bias of an entire outlet. Specifically, we design a variety of prompts based on these criteria and elicit responses from large language models (LLMs), which we aggregate to make predictions. In addition to demonstrating sizable improvements over strong baselines via extensive experiments with multiple LLMs, we provide an in-depth error analysis of the effect of media popularity and region on model performance. Further, we conduct an ablation study to highlight the key components of our dataset that contribute to these improvements. To facilitate future research, we released our dataset and code at https://github.com/mbzuai-nlp/llm-media-profiling.