Sulla Robustezza e Affidabilità della Valutazione dei Modelli Linguistici Basata su Benchmark

On Robustness and Reliability of Benchmark-Based Evaluation of LLMs

September 4, 2025

Autori: Riccardo Lunardi, Vincenzo Della Mea, Stefano Mizzaro, Kevin Roitero

cs.AI

Abstract

L'efficacia dei Large Language Models (LLM) viene solitamente valutata mediante benchmark come MMLU, ARC-C o HellaSwag, dove le domande sono presentate nella loro formulazione originale, quindi in un formato fisso e standardizzato. Tuttavia, le applicazioni nel mondo reale implicano variabilità linguistica, richiedendo ai modelli di mantenere la loro efficacia attraverso diverse riformulazioni della stessa domanda o query. In questo studio, valutiamo sistematicamente la robustezza dei LLM rispetto a domande benchmark parafrasate e indaghiamo se le valutazioni basate su benchmark forniscono una misura affidabile delle capacità del modello. Generiamo sistematicamente varie parafrasi di tutte le domande in sei diversi benchmark comuni e misuriamo le variazioni risultanti nell'efficacia di 34 LLM all'avanguardia, di dimensioni ed efficacia diverse. I nostri risultati rivelano che, sebbene le classificazioni dei LLM rimangano relativamente stabili rispetto agli input parafrasati, i punteggi assoluti di efficacia cambiano e diminuiscono significativamente. Ciò suggerisce che i LLM faticano a gestire la variabilità linguistica, sollevando preoccupazioni sulle loro capacità di generalizzazione e sulle metodologie di valutazione. Inoltre, il calo di prestazioni osservato mette in discussione l'affidabilità delle valutazioni basate su benchmark, indicando che punteggi elevati nei benchmark potrebbero non catturare pienamente la robustezza di un modello rispetto alle variazioni degli input nel mondo reale. Discutiamo le implicazioni di questi risultati per le metodologie di valutazione dei LLM, sottolineando la necessità di benchmark consapevoli della robustezza che riflettano meglio gli scenari di implementazione pratica.

English

Large Language Models (LLMs) effectiveness is usually evaluated by means of benchmarks such as MMLU, ARC-C, or HellaSwag, where questions are presented in their original wording, thus in a fixed, standardized format. However, real-world applications involve linguistic variability, requiring models to maintain their effectiveness across diverse rewordings of the same question or query. In this study, we systematically assess the robustness of LLMs to paraphrased benchmark questions and investigate whether benchmark-based evaluations provide a reliable measure of model capabilities. We systematically generate various paraphrases of all the questions across six different common benchmarks, and measure the resulting variations in effectiveness of 34 state-of-the-art LLMs, of different size and effectiveness. Our findings reveal that while LLM rankings remain relatively stable across paraphrased inputs, absolute effectiveness scores change, and decline significantly. This suggests that LLMs struggle with linguistic variability, raising concerns about their generalization abilities and evaluation methodologies. Furthermore, the observed performance drop challenges the reliability of benchmark-based evaluations, indicating that high benchmark scores may not fully capture a model's robustness to real-world input variations. We discuss the implications of these findings for LLM evaluation methodologies, emphasizing the need for robustness-aware benchmarks that better reflect practical deployment scenarios.