О надежности и достоверности оценки языковых моделей на основе бенчмарков
On Robustness and Reliability of Benchmark-Based Evaluation of LLMs
September 4, 2025
Авторы: Riccardo Lunardi, Vincenzo Della Mea, Stefano Mizzaro, Kevin Roitero
cs.AI
Аннотация
Эффективность крупных языковых моделей (LLM) обычно оценивается с помощью тестов, таких как MMLU, ARC-C или HellaSwag, где вопросы представлены в их исходной формулировке, то есть в фиксированном, стандартизированном формате. Однако в реальных приложениях возникает лингвистическая вариативность, что требует от моделей сохранения эффективности при различных переформулировках одного и того же вопроса или запроса. В данном исследовании мы систематически оцениваем устойчивость LLM к перефразированным тестовым вопросам и исследуем, обеспечивают ли оценки на основе тестов надежную меру возможностей моделей. Мы систематически генерируем различные перефразировки всех вопросов из шести различных популярных тестов и измеряем изменения в эффективности 34 современных LLM разного размера и уровня эффективности. Наши результаты показывают, что, хотя рейтинги LLM остаются относительно стабильными при перефразированных входных данных, абсолютные показатели эффективности изменяются и значительно снижаются. Это свидетельствует о том, что LLM испытывают трудности с лингвистической вариативностью, что вызывает опасения относительно их способности к обобщению и методологий оценки. Более того, наблюдаемое снижение производительности ставит под сомнение надежность оценок на основе тестов, указывая на то, что высокие баллы в тестах могут не полностью отражать устойчивость модели к вариациям входных данных в реальных условиях. Мы обсуждаем последствия этих выводов для методологий оценки LLM, подчеркивая необходимость в тестах, учитывающих устойчивость, которые лучше отражают сценарии практического применения.
English
Large Language Models (LLMs) effectiveness is usually evaluated by means of
benchmarks such as MMLU, ARC-C, or HellaSwag, where questions are presented in
their original wording, thus in a fixed, standardized format. However,
real-world applications involve linguistic variability, requiring models to
maintain their effectiveness across diverse rewordings of the same question or
query. In this study, we systematically assess the robustness of LLMs to
paraphrased benchmark questions and investigate whether benchmark-based
evaluations provide a reliable measure of model capabilities. We systematically
generate various paraphrases of all the questions across six different common
benchmarks, and measure the resulting variations in effectiveness of 34
state-of-the-art LLMs, of different size and effectiveness. Our findings reveal
that while LLM rankings remain relatively stable across paraphrased inputs,
absolute effectiveness scores change, and decline significantly. This suggests
that LLMs struggle with linguistic variability, raising concerns about their
generalization abilities and evaluation methodologies. Furthermore, the
observed performance drop challenges the reliability of benchmark-based
evaluations, indicating that high benchmark scores may not fully capture a
model's robustness to real-world input variations. We discuss the implications
of these findings for LLM evaluation methodologies, emphasizing the need for
robustness-aware benchmarks that better reflect practical deployment scenarios.