Quando os Benchmarks Envelhecem: Desalinhamento Temporal através da Avaliação de Factualidade em Modelos de Linguagem de Grande Escala

When Benchmarks Age: Temporal Misalignment through Large Language Model Factuality Evaluation

October 8, 2025

Autores: Xunyi Jiang, Dingyi Chang, Julian McAuley, Xin Xu

cs.AI

Resumo

A rápida evolução dos modelos de linguagem de grande escala (LLMs) e do mundo real superou a natureza estática dos benchmarks de avaliação amplamente utilizados, levantando preocupações sobre sua confiabilidade para avaliar a factualidade dos LLMs. Embora trabalhos substanciais continuem a depender dos benchmarks populares, porém antigos, seu desalinhamento temporal com os fatos do mundo real e os LLMs modernos, bem como seus efeitos na avaliação da factualidade dos LLMs, permanecem pouco explorados. Portanto, neste trabalho, apresentamos uma investigação sistemática dessa questão, examinando cinco benchmarks de factualidade populares e oito LLMs lançados em diferentes anos. Um pipeline de recuperação de fatos atualizado e três métricas são adaptados para quantificar o envelhecimento dos benchmarks e seu impacto na avaliação da factualidade dos LLMs. Os resultados experimentais e a análise ilustram que uma porção considerável das amostras nos benchmarks de factualidade amplamente utilizados está desatualizada, levando a avaliações não confiáveis da factualidade dos LLMs. Esperamos que nosso trabalho possa fornecer um ambiente de teste para avaliar a confiabilidade de um benchmark para a avaliação da factualidade dos LLMs e inspirar mais pesquisas sobre a questão do envelhecimento dos benchmarks. Os códigos estão disponíveis em https://github.com/JiangXunyi/BenchAge.

English

The rapid evolution of large language models (LLMs) and the real world has outpaced the static nature of widely used evaluation benchmarks, raising concerns about their reliability for evaluating LLM factuality. While substantial works continue to rely on the popular but old benchmarks, their temporal misalignment with real-world facts and modern LLMs, and their effects on LLM factuality evaluation remain underexplored. Therefore, in this work, we present a systematic investigation of this issue by examining five popular factuality benchmarks and eight LLMs released across different years. An up-to-date fact retrieval pipeline and three metrics are tailored to quantify benchmark aging and its impact on LLM factuality evaluation. Experimental results and analysis illustrate that a considerable portion of samples in the widely used factuality benchmarks are outdated, leading to unreliable assessments of LLM factuality. We hope our work can provide a testbed to assess the reliability of a benchmark for LLM factuality evaluation and inspire more research on the benchmark aging issue. Codes are available in https://github.com/JiangXunyi/BenchAge.