Rumo a uma Avaliação Abrangente e por Estágios de Modelos de Linguagem de Grande Porte na Verificação de Fatos

Towards Comprehensive Stage-wise Benchmarking of Large Language Models in Fact-Checking

January 6, 2026

Autores: Hongzhan Lin, Zixin Chen, Zhiqi Shen, Ziyang Luo, Zhen Ye, Jing Ma, Tat-Seng Chua, Guandong Xu

cs.AI

Resumo

Os Modelos de Linguagem de Grande Porte (LLMs) estão a ser cada vez mais utilizados em sistemas de verificação de factos do mundo real, no entanto, as avaliações existentes concentram-se predominantemente na verificação de alegações e negligenciam o fluxo de trabalho mais abrangente da verificação de factos, incluindo a extração de alegações e a recuperação de evidências. Este foco restrito impede que os benchmarks atuais revelem falhas sistemáticas de raciocínio, pontos cegos factuais e limitações de robustez dos LLMs modernos. Para colmatar esta lacuna, apresentamos o FactArena, um quadro de avaliação de estilo arena totalmente automatizado que realiza uma avaliação abrangente e faseada de LLMs em todo o pipeline completo de verificação de factos. O FactArena integra três componentes principais: (i) um processo de verificação de factos conduzido por LLM que padroniza a decomposição de alegações, a recuperação de evidências através de interações aumentadas por ferramentas e a previsão de vereditos baseada em justificações; (ii) um mecanismo de julgamento de estilo arena orientado por diretrizes de referência consolidadas para garantir comparações pareadas imparciais e consistentes entre agentes juízes heterogéneos; e (iii) um módulo de evolução de alegações conduzido pela arena que gera de forma adaptativa alegações mais desafiantes e semanticamente controladas para analisar a robustez factual dos LLMs para além dos dados de origem fixos. Em 16 LLMs de última geração abrangendo sete famílias de modelos, o FactArena produz classificações estáveis e interpretáveis. As nossas análises revelam ainda discrepâncias significativas entre a precisão estática na verificação de alegações e a competência de verificação de factos de ponta a ponta, destacando a necessidade de uma avaliação holística. O quadro proposto oferece um paradigma escalável e confiável para diagnosticar o raciocínio factual dos LLMs, orientar o desenvolvimento futuro de modelos e avançar a implementação fiável de LLMs em aplicações de verificação de factos críticas para a segurança.

English

Large Language Models (LLMs) are increasingly deployed in real-world fact-checking systems, yet existing evaluations focus predominantly on claim verification and overlook the broader fact-checking workflow, including claim extraction and evidence retrieval. This narrow focus prevents current benchmarks from revealing systematic reasoning failures, factual blind spots, and robustness limitations of modern LLMs. To bridge this gap, we present FactArena, a fully automated arena-style evaluation framework that conducts comprehensive, stage-wise benchmarking of LLMs across the complete fact-checking pipeline. FactArena integrates three key components: (i) an LLM-driven fact-checking process that standardizes claim decomposition, evidence retrieval via tool-augmented interactions, and justification-based verdict prediction; (ii) an arena-styled judgment mechanism guided by consolidated reference guidelines to ensure unbiased and consistent pairwise comparisons across heterogeneous judge agents; and (iii) an arena-driven claim-evolution module that adaptively generates more challenging and semantically controlled claims to probe LLMs' factual robustness beyond fixed seed data. Across 16 state-of-the-art LLMs spanning seven model families, FactArena produces stable and interpretable rankings. Our analyses further reveal significant discrepancies between static claim-verification accuracy and end-to-end fact-checking competence, highlighting the necessity of holistic evaluation. The proposed framework offers a scalable and trustworthy paradigm for diagnosing LLMs' factual reasoning, guiding future model development, and advancing the reliable deployment of LLMs in safety-critical fact-checking applications.