К созданию всестороннего поэтапного бенчмаркинга больших языковых моделей в области проверки фактов

Towards Comprehensive Stage-wise Benchmarking of Large Language Models in Fact-Checking

January 6, 2026

Авторы: Hongzhan Lin, Zixin Chen, Zhiqi Shen, Ziyang Luo, Zhen Ye, Jing Ma, Tat-Seng Chua, Guandong Xu

cs.AI

Аннотация

Крупные языковые модели (LLM) все чаще развертываются в реальных системах проверки фактов, однако существующие оценки сосредоточены преимущественно на верификации утверждений и упускают из виду более широкий рабочий процесс проверки, включая извлечение утверждений и поиск доказательств. Эта узкая направленность не позволяет современным тестовым наборам выявлять системные сбои в рассуждениях, фактологические «слепые зоны» и проблемы устойчивости современных LLM. Чтобы заполнить этот пробел, мы представляем FactArena — полностью автоматизированную арен-стиль систему оценки, которая проводит всестороннее поэтапное тестирование LLM по всему конвейеру проверки фактов. FactArena интегрирует три ключевых компонента: (i) управляемый LLM процесс проверки фактов, стандартизирующий декомпозицию утверждений, поиск доказательств через инструментально-расширенное взаимодействие и прогнозирование вердикта на основе обоснования; (ii) арен-стиль механизм судейства, руководствующийся унифицированными эталонными правилами для обеспечения беспристрастного и последовательного парного сравнения разнородными судейскими агентами; и (iii) управляемый ареной модуль эволюции утверждений, который адаптивно генерирует более сложные и семантически контролируемые утверждения для исследования фактологической устойчивости LLM за пределами фиксированных исходных данных. На примере 16 передовых LLM, охватывающих семь модельных семейств, FactArena демонстрирует стабильные и интерпретируемые рейтинги. Наш анализ также выявляет значительные расхождения между точностью статической верификации утверждений и компетентностью сквозной проверки фактов, подчеркивая необходимость холистической оценки. Предлагаемая система предлагает масштабируемую и надежную парадигму для диагностики фактологического мышления LLM, руководства будущей разработкой моделей и обеспечения надежного развертывания LLM в критически важных для безопасности приложениях проверки фактов.

English

Large Language Models (LLMs) are increasingly deployed in real-world fact-checking systems, yet existing evaluations focus predominantly on claim verification and overlook the broader fact-checking workflow, including claim extraction and evidence retrieval. This narrow focus prevents current benchmarks from revealing systematic reasoning failures, factual blind spots, and robustness limitations of modern LLMs. To bridge this gap, we present FactArena, a fully automated arena-style evaluation framework that conducts comprehensive, stage-wise benchmarking of LLMs across the complete fact-checking pipeline. FactArena integrates three key components: (i) an LLM-driven fact-checking process that standardizes claim decomposition, evidence retrieval via tool-augmented interactions, and justification-based verdict prediction; (ii) an arena-styled judgment mechanism guided by consolidated reference guidelines to ensure unbiased and consistent pairwise comparisons across heterogeneous judge agents; and (iii) an arena-driven claim-evolution module that adaptively generates more challenging and semantically controlled claims to probe LLMs' factual robustness beyond fixed seed data. Across 16 state-of-the-art LLMs spanning seven model families, FactArena produces stable and interpretable rankings. Our analyses further reveal significant discrepancies between static claim-verification accuracy and end-to-end fact-checking competence, highlighting the necessity of holistic evaluation. The proposed framework offers a scalable and trustworthy paradigm for diagnosing LLMs' factual reasoning, guiding future model development, and advancing the reliable deployment of LLMs in safety-critical fact-checking applications.