Over robuustheid en betrouwbaarheid van benchmark-gebaseerde evaluatie van LLM's

On Robustness and Reliability of Benchmark-Based Evaluation of LLMs

September 4, 2025

Auteurs: Riccardo Lunardi, Vincenzo Della Mea, Stefano Mizzaro, Kevin Roitero

cs.AI

Samenvatting

De effectiviteit van Large Language Models (LLMs) wordt doorgaans geëvalueerd aan de hand van benchmarks zoals MMLU, ARC-C of HellaSwag, waarbij vragen in hun oorspronkelijke formulering worden gepresenteerd, en dus in een vastgesteld, gestandaardiseerd formaat. Echter, in praktijktoepassingen is er sprake van linguïstische variabiliteit, wat vereist dat modellen hun effectiviteit behouden bij diverse herformuleringen van dezelfde vraag of query. In deze studie evalueren we systematisch de robuustheid van LLMs ten opzichte van geparafraseerde benchmarkvragen en onderzoeken we of benchmarkgebaseerde evaluaties een betrouwbare maatstaf bieden voor modelcapaciteiten. We genereren systematisch verschillende parafrases van alle vragen uit zes veelgebruikte benchmarks en meten de resulterende variaties in effectiviteit van 34 state-of-the-art LLMs, van verschillende grootte en effectiviteit. Onze bevindingen laten zien dat hoewel de rangschikking van LLMs relatief stabiel blijft bij geparafraseerde invoer, de absolute effectiviteitsscores veranderen en aanzienlijk dalen. Dit suggereert dat LLMs moeite hebben met linguïstische variabiliteit, wat zorgen oproept over hun generalisatievermogen en evaluatiemethodologieën. Bovendien daagt de waargenomen prestatievermindering de betrouwbaarheid van benchmarkgebaseerde evaluaties uit, wat aangeeft dat hoge benchmarkscores mogelijk niet volledig de robuustheid van een model tegenover real-world invoervariaties weergeven. We bespreken de implicaties van deze bevindingen voor LLM-evaluatiemethodologieën en benadrukken de noodzaak van robuustheid-gevoelige benchmarks die praktijkimplementatiescenario's beter weerspiegelen.

English

Large Language Models (LLMs) effectiveness is usually evaluated by means of benchmarks such as MMLU, ARC-C, or HellaSwag, where questions are presented in their original wording, thus in a fixed, standardized format. However, real-world applications involve linguistic variability, requiring models to maintain their effectiveness across diverse rewordings of the same question or query. In this study, we systematically assess the robustness of LLMs to paraphrased benchmark questions and investigate whether benchmark-based evaluations provide a reliable measure of model capabilities. We systematically generate various paraphrases of all the questions across six different common benchmarks, and measure the resulting variations in effectiveness of 34 state-of-the-art LLMs, of different size and effectiveness. Our findings reveal that while LLM rankings remain relatively stable across paraphrased inputs, absolute effectiveness scores change, and decline significantly. This suggests that LLMs struggle with linguistic variability, raising concerns about their generalization abilities and evaluation methodologies. Furthermore, the observed performance drop challenges the reliability of benchmark-based evaluations, indicating that high benchmark scores may not fully capture a model's robustness to real-world input variations. We discuss the implications of these findings for LLM evaluation methodologies, emphasizing the need for robustness-aware benchmarks that better reflect practical deployment scenarios.