Wanneer Benchmarks Verouderen: Temporele Uitlijning via Evaluatie van Feitelijkheid in Grote Taalmodellen

When Benchmarks Age: Temporal Misalignment through Large Language Model Factuality Evaluation

October 8, 2025

Auteurs: Xunyi Jiang, Dingyi Chang, Julian McAuley, Xin Xu

cs.AI

Samenvatting

De snelle evolutie van grote taalmodellen (LLMs) en de echte wereld heeft de statische aard van veelgebruikte evaluatiebenchmarks achterhaald, wat zorgen oproept over hun betrouwbaarheid voor het evalueren van de feitelijkheid van LLMs. Hoewel veel onderzoek nog steeds vertrouwt op populaire maar verouderde benchmarks, blijft de temporele mismatch met feiten uit de echte wereld en moderne LLMs, evenals hun effecten op de evaluatie van LLM-feitelijkheid, onderbelicht. Daarom presenteren we in dit werk een systematisch onderzoek naar dit probleem door vijf populaire feitelijkheidsbenchmarks en acht LLMs die in verschillende jaren zijn vrijgegeven te onderzoeken. Een up-to-date feitenretrievalpijplijn en drie metrieken zijn toegespitst om de veroudering van benchmarks en de impact daarvan op de evaluatie van LLM-feitelijkheid te kwantificeren. Experimentele resultaten en analyses tonen aan dat een aanzienlijk deel van de samples in de veelgebruikte feitelijkheidsbenchmarks verouderd is, wat leidt tot onbetrouwbare beoordelingen van LLM-feitelijkheid. We hopen dat ons werk een testomgeving kan bieden om de betrouwbaarheid van een benchmark voor LLM-feitelijkheidsevaluatie te beoordelen en meer onderzoek naar het probleem van benchmarkveroudering kan inspireren. Codes zijn beschikbaar op https://github.com/JiangXunyi/BenchAge.

English

The rapid evolution of large language models (LLMs) and the real world has outpaced the static nature of widely used evaluation benchmarks, raising concerns about their reliability for evaluating LLM factuality. While substantial works continue to rely on the popular but old benchmarks, their temporal misalignment with real-world facts and modern LLMs, and their effects on LLM factuality evaluation remain underexplored. Therefore, in this work, we present a systematic investigation of this issue by examining five popular factuality benchmarks and eight LLMs released across different years. An up-to-date fact retrieval pipeline and three metrics are tailored to quantify benchmark aging and its impact on LLM factuality evaluation. Experimental results and analysis illustrate that a considerable portion of samples in the widely used factuality benchmarks are outdated, leading to unreliable assessments of LLM factuality. We hope our work can provide a testbed to assess the reliability of a benchmark for LLM factuality evaluation and inspire more research on the benchmark aging issue. Codes are available in https://github.com/JiangXunyi/BenchAge.