Op weg naar een uitgebreide stapsgewijze benchmarking van grote taalmodellen bij feitencontrole

Towards Comprehensive Stage-wise Benchmarking of Large Language Models in Fact-Checking

January 6, 2026

Auteurs: Hongzhan Lin, Zixin Chen, Zhiqi Shen, Ziyang Luo, Zhen Ye, Jing Ma, Tat-Seng Chua, Guandong Xu

cs.AI

Samenvatting

Grote Taalmodellen (LLM's) worden steeds vaker ingezet in feitencontrolesystemen in de praktijk, maar bestaande evaluaties richten zich voornamelijk op claimverificatie en negeren de bredere workflow van feitencontrole, inclusief claimextractie en evidenceretrieval. Deze beperkte focus voorkomt dat huidige benchmarks systematische redeneerfouten, feitelijke blinde vlekken en robuustheidsbeperkingen van moderne LLM's aan het licht brengen. Om deze kloof te overbruggen, presenteren we FactArena, een volledig geautomatiseerd arena-stijl evaluatiekader dat uitgebreide, fasegewijze benchmarking van LLM's over de volledige feitencontrolepijplijn uitvoert. FactArena integreert drie kerncomponenten: (i) een LLM-gestuurd feitencontroleproces dat claimdecompositie, evidenceretrieval via tool-augmented interacties en rechtvaardigingsgebaseerde uitspraakvoorspelling standaardiseert; (ii) een arena-stijl beoordelingsmechanisme geleid door geconsolideerde referentierichtlijnen om onbevooroordeelde en consistente paarsgewijze vergelijkingen over heterogene beoordelaarsagentschappen te waarborgen; en (iii) een arena-gestuurd claim-evolutiemodule die adaptief meer uitdagende en semantisch gecontroleerde claims genereert om de feitelijke robuustheid van LLM's voorbij vaste seeddata te onderzoeken. Over 16 state-of-the-art LLM's verspreid over zeven modelfamilies produceert FactArena stabiele en interpreteerbare rangschikkingen. Onze analyses onthullen verder significante discrepanties tussen statische claimverificatienauwkeurigheid en end-to-end feitencontrolecompetentie, wat de noodzaak van holistische evaluatie benadrukt. Het voorgestelde kader biedt een schaalbaar en betrouwbaar paradigma voor het diagnosticeren van het feitelijk redeneren van LLM's, het begeleiden van toekomstige modelontwikkeling en het bevorderen van de betrouwbare inzet van LLM's in veiligheidskritische feitencontroletoepassingen.

English

Large Language Models (LLMs) are increasingly deployed in real-world fact-checking systems, yet existing evaluations focus predominantly on claim verification and overlook the broader fact-checking workflow, including claim extraction and evidence retrieval. This narrow focus prevents current benchmarks from revealing systematic reasoning failures, factual blind spots, and robustness limitations of modern LLMs. To bridge this gap, we present FactArena, a fully automated arena-style evaluation framework that conducts comprehensive, stage-wise benchmarking of LLMs across the complete fact-checking pipeline. FactArena integrates three key components: (i) an LLM-driven fact-checking process that standardizes claim decomposition, evidence retrieval via tool-augmented interactions, and justification-based verdict prediction; (ii) an arena-styled judgment mechanism guided by consolidated reference guidelines to ensure unbiased and consistent pairwise comparisons across heterogeneous judge agents; and (iii) an arena-driven claim-evolution module that adaptively generates more challenging and semantically controlled claims to probe LLMs' factual robustness beyond fixed seed data. Across 16 state-of-the-art LLMs spanning seven model families, FactArena produces stable and interpretable rankings. Our analyses further reveal significant discrepancies between static claim-verification accuracy and end-to-end fact-checking competence, highlighting the necessity of holistic evaluation. The proposed framework offers a scalable and trustworthy paradigm for diagnosing LLMs' factual reasoning, guiding future model development, and advancing the reliable deployment of LLMs in safety-critical fact-checking applications.