Über Robustheit und Zuverlässigkeit der Benchmark-basierten Bewertung von LLMs
On Robustness and Reliability of Benchmark-Based Evaluation of LLMs
September 4, 2025
papers.authors: Riccardo Lunardi, Vincenzo Della Mea, Stefano Mizzaro, Kevin Roitero
cs.AI
papers.abstract
Die Effektivität von Large Language Models (LLMs) wird üblicherweise anhand von Benchmarks wie MMLU, ARC-C oder HellaSwag bewertet, bei denen Fragen in ihrer ursprünglichen Formulierung und somit in einem festen, standardisierten Format präsentiert werden. In realen Anwendungen ist jedoch sprachliche Variabilität vorhanden, was erfordert, dass Modelle ihre Effektivität über verschiedene Umformulierungen derselben Frage oder Anfrage hinweg beibehalten. In dieser Studie bewerten wir systematisch die Robustheit von LLMs gegenüber umformulierten Benchmark-Fragen und untersuchen, ob Benchmark-basierte Bewertungen ein zuverlässiges Maß für die Fähigkeiten von Modellen darstellen. Wir generieren systematisch verschiedene Paraphrasen aller Fragen aus sechs verschiedenen gängigen Benchmarks und messen die daraus resultierenden Variationen in der Effektivität von 34 state-of-the-art LLMs unterschiedlicher Größe und Effektivität. Unsere Ergebnisse zeigen, dass die Rangfolge der LLMs bei umformulierten Eingaben relativ stabil bleibt, die absoluten Effektivitätswerte sich jedoch ändern und signifikant sinken. Dies deutet darauf hin, dass LLMs mit sprachlicher Variabilität zu kämpfen haben, was Bedenken hinsichtlich ihrer Generalisierungsfähigkeiten und Bewertungsmethoden aufwirft. Darüber hinaus stellt der beobachtete Leistungsabfall die Zuverlässigkeit von Benchmark-basierten Bewertungen in Frage und deutet darauf hin, dass hohe Benchmark-Werte möglicherweise nicht vollständig die Robustheit eines Modells gegenüber realen Eingabevariationen erfassen. Wir diskutieren die Implikationen dieser Erkenntnisse für die Bewertungsmethoden von LLMs und betonen die Notwendigkeit von Robustheits-orientierten Benchmarks, die praktische Einsatzszenarien besser widerspiegeln.
English
Large Language Models (LLMs) effectiveness is usually evaluated by means of
benchmarks such as MMLU, ARC-C, or HellaSwag, where questions are presented in
their original wording, thus in a fixed, standardized format. However,
real-world applications involve linguistic variability, requiring models to
maintain their effectiveness across diverse rewordings of the same question or
query. In this study, we systematically assess the robustness of LLMs to
paraphrased benchmark questions and investigate whether benchmark-based
evaluations provide a reliable measure of model capabilities. We systematically
generate various paraphrases of all the questions across six different common
benchmarks, and measure the resulting variations in effectiveness of 34
state-of-the-art LLMs, of different size and effectiveness. Our findings reveal
that while LLM rankings remain relatively stable across paraphrased inputs,
absolute effectiveness scores change, and decline significantly. This suggests
that LLMs struggle with linguistic variability, raising concerns about their
generalization abilities and evaluation methodologies. Furthermore, the
observed performance drop challenges the reliability of benchmark-based
evaluations, indicating that high benchmark scores may not fully capture a
model's robustness to real-world input variations. We discuss the implications
of these findings for LLM evaluation methodologies, emphasizing the need for
robustness-aware benchmarks that better reflect practical deployment scenarios.