Auf dem Weg zu einer umfassenden stufenweisen Evaluierung von Large Language Models in der Faktenprüfung

Towards Comprehensive Stage-wise Benchmarking of Large Language Models in Fact-Checking

January 6, 2026

papers.authors: Hongzhan Lin, Zixin Chen, Zhiqi Shen, Ziyang Luo, Zhen Ye, Jing Ma, Tat-Seng Chua, Guandong Xu

cs.AI

papers.abstract

Große Sprachmodelle (LLMs) werden zunehmend in realen Faktenprüfungssystemen eingesetzt, doch bestehende Evaluationen konzentrieren sich überwiegend auf die Behauptungsverifikation und vernachlässigen den umfassenderen Faktenprüfungs-Workflow, einschließlich Behauptungsextraktion und Evidenzrecherche. Dieser eingeschränkte Fokus verhindert, dass aktuelle Benchmarks systematische Reasoning-Fehler, faktische blinde Flecken und Robustheitsgrenzen moderner LLMs aufdecken. Um diese Lücke zu schließen, präsentieren wir FactArena, einen vollständig automatisierten Arena-artigen Evaluationsrahmen, der eine umfassende, stufenweise Benchmarking von LLMs über die komplette Faktenprüfungspipeline hinweg durchführt. FactArena integriert drei Schlüsselkomponenten: (i) einen LLM-gesteuerten Faktenprüfungsprozess, der die Behauptungszerlegung, Evidenzrecherche via tool-augmentierter Interaktionen und begründungsbasierte Urteilsvorhersage standardisiert; (ii) einen Arena-artigen Bewertungsmechanismus, geleitet von konsolidierten Referenzrichtlinien, um verzerrungsfreie und konsistente paarweise Vergleiche über heterogene Bewerter-Agenten hinweg sicherzustellen; und (iii) ein Arena-gesteuertes Behauptungs-Evolutionsmodul, das adaptiv anspruchsvollere und semantisch kontrollierte Behauptungen generiert, um die faktische Robustheit von LLMs über feste Ausgangsdaten hinaus zu testen. Über 16 state-of-the-art LLMs aus sieben Modellfamilien hinweg erzeugt FactArena stabile und interpretierbare Rangfolgen. Unsere Analysen zeigen weiterhin signifikante Diskrepanzen zwischen statischer Behauptungsverifikationsgenauigkeit und end-to-end Faktenprüfungskompetenz auf und unterstreichen die Notwendigkeit holistischer Evaluation. Der vorgeschlagene Rahmen bietet ein skalierbares und vertrauenswürdiges Paradigma zur Diagnose des faktischen Reasoning von LLMs, zur Lenkung zukünftiger Modellentwicklung und zur Förderung des zuverlässigen Einsatzes von LLMs in sicherheitskritischen Faktenprüfungsanwendungen.

English

Large Language Models (LLMs) are increasingly deployed in real-world fact-checking systems, yet existing evaluations focus predominantly on claim verification and overlook the broader fact-checking workflow, including claim extraction and evidence retrieval. This narrow focus prevents current benchmarks from revealing systematic reasoning failures, factual blind spots, and robustness limitations of modern LLMs. To bridge this gap, we present FactArena, a fully automated arena-style evaluation framework that conducts comprehensive, stage-wise benchmarking of LLMs across the complete fact-checking pipeline. FactArena integrates three key components: (i) an LLM-driven fact-checking process that standardizes claim decomposition, evidence retrieval via tool-augmented interactions, and justification-based verdict prediction; (ii) an arena-styled judgment mechanism guided by consolidated reference guidelines to ensure unbiased and consistent pairwise comparisons across heterogeneous judge agents; and (iii) an arena-driven claim-evolution module that adaptively generates more challenging and semantically controlled claims to probe LLMs' factual robustness beyond fixed seed data. Across 16 state-of-the-art LLMs spanning seven model families, FactArena produces stable and interpretable rankings. Our analyses further reveal significant discrepancies between static claim-verification accuracy and end-to-end fact-checking competence, highlighting the necessity of holistic evaluation. The proposed framework offers a scalable and trustworthy paradigm for diagnosing LLMs' factual reasoning, guiding future model development, and advancing the reliable deployment of LLMs in safety-critical fact-checking applications.