Sobre Robustez e Confiabilidade na Avaliação de LLMs Baseada em Benchmarks

On Robustness and Reliability of Benchmark-Based Evaluation of LLMs

September 4, 2025

Autores: Riccardo Lunardi, Vincenzo Della Mea, Stefano Mizzaro, Kevin Roitero

cs.AI

Resumo

A eficácia dos Modelos de Linguagem de Grande Escala (LLMs) é geralmente avaliada por meio de benchmarks como MMLU, ARC-C ou HellaSwag, onde as perguntas são apresentadas em sua formulação original, ou seja, em um formato fixo e padronizado. No entanto, aplicações do mundo real envolvem variabilidade linguística, exigindo que os modelos mantenham sua eficácia diante de diferentes reformulações da mesma pergunta ou consulta. Neste estudo, avaliamos sistematicamente a robustez dos LLMs a perguntas de benchmarks parafraseadas e investigamos se as avaliações baseadas em benchmarks fornecem uma medida confiável das capacidades dos modelos. Geramos sistematicamente várias paráfrases de todas as perguntas em seis benchmarks comuns diferentes e medimos as variações resultantes na eficácia de 34 LLMs de última geração, de diferentes tamanhos e eficácias. Nossos resultados revelam que, embora as classificações dos LLMs permaneçam relativamente estáveis em entradas parafraseadas, as pontuações absolutas de eficácia mudam e declinam significativamente. Isso sugere que os LLMs têm dificuldades com a variabilidade linguística, levantando preocupações sobre suas habilidades de generalização e metodologias de avaliação. Além disso, a queda de desempenho observada desafia a confiabilidade das avaliações baseadas em benchmarks, indicando que pontuações altas em benchmarks podem não capturar totalmente a robustez de um modelo a variações de entrada do mundo real. Discutimos as implicações desses achados para as metodologias de avaliação de LLMs, enfatizando a necessidade de benchmarks que considerem a robustez e reflitam melhor os cenários práticos de implantação.

English

Large Language Models (LLMs) effectiveness is usually evaluated by means of benchmarks such as MMLU, ARC-C, or HellaSwag, where questions are presented in their original wording, thus in a fixed, standardized format. However, real-world applications involve linguistic variability, requiring models to maintain their effectiveness across diverse rewordings of the same question or query. In this study, we systematically assess the robustness of LLMs to paraphrased benchmark questions and investigate whether benchmark-based evaluations provide a reliable measure of model capabilities. We systematically generate various paraphrases of all the questions across six different common benchmarks, and measure the resulting variations in effectiveness of 34 state-of-the-art LLMs, of different size and effectiveness. Our findings reveal that while LLM rankings remain relatively stable across paraphrased inputs, absolute effectiveness scores change, and decline significantly. This suggests that LLMs struggle with linguistic variability, raising concerns about their generalization abilities and evaluation methodologies. Furthermore, the observed performance drop challenges the reliability of benchmark-based evaluations, indicating that high benchmark scores may not fully capture a model's robustness to real-world input variations. We discuss the implications of these findings for LLM evaluation methodologies, emphasizing the need for robustness-aware benchmarks that better reflect practical deployment scenarios.