Quand les benchmarks vieillissent : Désalignement temporel dans l'évaluation de la factualité des grands modèles de langage

When Benchmarks Age: Temporal Misalignment through Large Language Model Factuality Evaluation

October 8, 2025

papers.authors: Xunyi Jiang, Dingyi Chang, Julian McAuley, Xin Xu

cs.AI

papers.abstract

L'évolution rapide des grands modèles de langage (LLMs) et du monde réel a dépassé la nature statique des benchmarks d'évaluation largement utilisés, suscitant des inquiétudes quant à leur fiabilité pour évaluer la factualité des LLMs. Alors que de nombreux travaux continuent de s'appuyer sur des benchmarks populaires mais anciens, leur décalage temporel avec les faits réels et les LLMs modernes, ainsi que leurs effets sur l'évaluation de la factualité des LLMs, restent insuffisamment explorés. Par conséquent, dans ce travail, nous présentons une investigation systématique de cette problématique en examinant cinq benchmarks de factualité populaires et huit LLMs publiés au fil des années. Un pipeline de récupération de faits à jour et trois métriques sont adaptés pour quantifier le vieillissement des benchmarks et son impact sur l'évaluation de la factualité des LLMs. Les résultats expérimentaux et l'analyse montrent qu'une part considérable des échantillons dans les benchmarks de factualité couramment utilisés sont obsolètes, conduisant à des évaluations peu fiables de la factualité des LLMs. Nous espérons que notre travail pourra servir de base pour évaluer la fiabilité d'un benchmark dans l'évaluation de la factualité des LLMs et inspirer davantage de recherches sur la question du vieillissement des benchmarks. Les codes sont disponibles sur https://github.com/JiangXunyi/BenchAge.

English

The rapid evolution of large language models (LLMs) and the real world has outpaced the static nature of widely used evaluation benchmarks, raising concerns about their reliability for evaluating LLM factuality. While substantial works continue to rely on the popular but old benchmarks, their temporal misalignment with real-world facts and modern LLMs, and their effects on LLM factuality evaluation remain underexplored. Therefore, in this work, we present a systematic investigation of this issue by examining five popular factuality benchmarks and eight LLMs released across different years. An up-to-date fact retrieval pipeline and three metrics are tailored to quantify benchmark aging and its impact on LLM factuality evaluation. Experimental results and analysis illustrate that a considerable portion of samples in the widely used factuality benchmarks are outdated, leading to unreliable assessments of LLM factuality. We hope our work can provide a testbed to assess the reliability of a benchmark for LLM factuality evaluation and inspire more research on the benchmark aging issue. Codes are available in https://github.com/JiangXunyi/BenchAge.