Sur la robustesse et la fiabilité de l'évaluation des LLM basée sur des benchmarks
On Robustness and Reliability of Benchmark-Based Evaluation of LLMs
September 4, 2025
papers.authors: Riccardo Lunardi, Vincenzo Della Mea, Stefano Mizzaro, Kevin Roitero
cs.AI
papers.abstract
L'efficacité des modèles de langage de grande taille (LLMs) est généralement évaluée à l'aide de benchmarks tels que MMLU, ARC-C ou HellaSwag, où les questions sont présentées dans leur formulation originale, c'est-à-dire dans un format fixe et standardisé. Cependant, les applications réelles impliquent une variabilité linguistique, nécessitant que les modèles maintiennent leur efficacité face à des reformulations diverses d'une même question ou requête. Dans cette étude, nous évaluons systématiquement la robustesse des LLMs face à des questions de benchmark paraphrasées et investiguons si les évaluations basées sur des benchmarks fournissent une mesure fiable des capacités des modèles. Nous générons systématiquement diverses paraphrases de toutes les questions issues de six benchmarks courants, et mesurons les variations résultantes dans l'efficacité de 34 LLMs de pointe, de tailles et d'efficacités variées. Nos résultats révèlent que si les classements des LLMs restent relativement stables face à des entrées paraphrasées, les scores d'efficacité absolus changent et diminuent significativement. Cela suggère que les LLMs peinent à gérer la variabilité linguistique, soulevant des inquiétudes quant à leurs capacités de généralisation et aux méthodologies d'évaluation. De plus, la baisse de performance observée remet en question la fiabilité des évaluations basées sur des benchmarks, indiquant que des scores élevés sur ces benchmarks ne reflètent pas nécessairement la robustesse d'un modèle face aux variations d'entrées rencontrées dans le monde réel. Nous discutons des implications de ces résultats pour les méthodologies d'évaluation des LLMs, en soulignant la nécessité de benchmarks prenant en compte la robustesse et reflétant mieux les scénarios de déploiement pratique.
English
Large Language Models (LLMs) effectiveness is usually evaluated by means of
benchmarks such as MMLU, ARC-C, or HellaSwag, where questions are presented in
their original wording, thus in a fixed, standardized format. However,
real-world applications involve linguistic variability, requiring models to
maintain their effectiveness across diverse rewordings of the same question or
query. In this study, we systematically assess the robustness of LLMs to
paraphrased benchmark questions and investigate whether benchmark-based
evaluations provide a reliable measure of model capabilities. We systematically
generate various paraphrases of all the questions across six different common
benchmarks, and measure the resulting variations in effectiveness of 34
state-of-the-art LLMs, of different size and effectiveness. Our findings reveal
that while LLM rankings remain relatively stable across paraphrased inputs,
absolute effectiveness scores change, and decline significantly. This suggests
that LLMs struggle with linguistic variability, raising concerns about their
generalization abilities and evaluation methodologies. Furthermore, the
observed performance drop challenges the reliability of benchmark-based
evaluations, indicating that high benchmark scores may not fully capture a
model's robustness to real-world input variations. We discuss the implications
of these findings for LLM evaluation methodologies, emphasizing the need for
robustness-aware benchmarks that better reflect practical deployment scenarios.