Когда эталонные тесты устаревают: временное несоответствие в оценке фактической точности крупных языковых моделей

When Benchmarks Age: Temporal Misalignment through Large Language Model Factuality Evaluation

October 8, 2025

Авторы: Xunyi Jiang, Dingyi Chang, Julian McAuley, Xin Xu

cs.AI

Аннотация

Быстрое развитие крупных языковых моделей (LLM) и реального мира опередило статичный характер широко используемых оценочных бенчмарков, вызывая опасения относительно их надежности для оценки фактической точности LLM. Хотя многие исследования продолжают полагаться на популярные, но устаревшие бенчмарки, их временное несоответствие реальным фактам и современным LLM, а также их влияние на оценку фактической точности LLM остаются недостаточно изученными. Поэтому в данной работе мы представляем систематическое исследование этой проблемы, анализируя пять популярных бенчмарков на фактическую точность и восемь LLM, выпущенных в разные годы. Актуальный конвейер извлечения фактов и три метрики были адаптированы для количественной оценки устаревания бенчмарков и их влияния на оценку фактической точности LLM. Результаты экспериментов и анализ показывают, что значительная часть образцов в широко используемых бенчмарках на фактическую точность устарела, что приводит к ненадежным оценкам фактической точности LLM. Мы надеемся, что наша работа может предоставить тестовую площадку для оценки надежности бенчмарков в оценке фактической точности LLM и вдохновить на дальнейшие исследования проблемы устаревания бенчмарков. Код доступен по адресу: https://github.com/JiangXunyi/BenchAge.

English

The rapid evolution of large language models (LLMs) and the real world has outpaced the static nature of widely used evaluation benchmarks, raising concerns about their reliability for evaluating LLM factuality. While substantial works continue to rely on the popular but old benchmarks, their temporal misalignment with real-world facts and modern LLMs, and their effects on LLM factuality evaluation remain underexplored. Therefore, in this work, we present a systematic investigation of this issue by examining five popular factuality benchmarks and eight LLMs released across different years. An up-to-date fact retrieval pipeline and three metrics are tailored to quantify benchmark aging and its impact on LLM factuality evaluation. Experimental results and analysis illustrate that a considerable portion of samples in the widely used factuality benchmarks are outdated, leading to unreliable assessments of LLM factuality. We hope our work can provide a testbed to assess the reliability of a benchmark for LLM factuality evaluation and inspire more research on the benchmark aging issue. Codes are available in https://github.com/JiangXunyi/BenchAge.