Sobre la Robustez y Fiabilidad de la Evaluación de LLMs Basada en Benchmarks

Resumen

La efectividad de los Modelos de Lenguaje de Gran Escala (LLMs, por sus siglas en inglés) suele evaluarse mediante puntos de referencia como MMLU, ARC-C o HellaSwag, donde las preguntas se presentan en su redacción original, es decir, en un formato fijo y estandarizado. Sin embargo, las aplicaciones del mundo real implican variabilidad lingüística, lo que requiere que los modelos mantengan su efectividad frente a diversas reformulaciones de la misma pregunta o consulta. En este estudio, evaluamos sistemáticamente la robustez de los LLMs ante preguntas de referencia parafraseadas e investigamos si las evaluaciones basadas en puntos de referencia proporcionan una medida confiable de las capacidades de los modelos. Generamos sistemáticamente varias paráfrasis de todas las preguntas en seis puntos de referencia comunes diferentes y medimos las variaciones resultantes en la efectividad de 34 LLMs de última generación, de diferentes tamaños y niveles de efectividad. Nuestros hallazgos revelan que, aunque las clasificaciones de los LLMs se mantienen relativamente estables frente a entradas parafraseadas, las puntuaciones absolutas de efectividad cambian y disminuyen significativamente. Esto sugiere que los LLMs tienen dificultades con la variabilidad lingüística, lo que plantea preocupaciones sobre sus habilidades de generalización y las metodologías de evaluación. Además, la caída observada en el rendimiento cuestiona la confiabilidad de las evaluaciones basadas en puntos de referencia, indicando que las puntuaciones altas en estos pueden no capturar completamente la robustez de un modelo frente a variaciones de entrada del mundo real. Discutimos las implicaciones de estos hallazgos para las metodologías de evaluación de LLMs, enfatizando la necesidad de puntos de referencia que consideren la robustez y reflejen mejor los escenarios de implementación práctica.

English

Large Language Models (LLMs) effectiveness is usually evaluated by means of benchmarks such as MMLU, ARC-C, or HellaSwag, where questions are presented in their original wording, thus in a fixed, standardized format. However, real-world applications involve linguistic variability, requiring models to maintain their effectiveness across diverse rewordings of the same question or query. In this study, we systematically assess the robustness of LLMs to paraphrased benchmark questions and investigate whether benchmark-based evaluations provide a reliable measure of model capabilities. We systematically generate various paraphrases of all the questions across six different common benchmarks, and measure the resulting variations in effectiveness of 34 state-of-the-art LLMs, of different size and effectiveness. Our findings reveal that while LLM rankings remain relatively stable across paraphrased inputs, absolute effectiveness scores change, and decline significantly. This suggests that LLMs struggle with linguistic variability, raising concerns about their generalization abilities and evaluation methodologies. Furthermore, the observed performance drop challenges the reliability of benchmark-based evaluations, indicating that high benchmark scores may not fully capture a model's robustness to real-world input variations. We discuss the implications of these findings for LLM evaluation methodologies, emphasizing the need for robustness-aware benchmarks that better reflect practical deployment scenarios.

Sobre la Robustez y Fiabilidad de la Evaluación de LLMs Basada en Benchmarks

On Robustness and Reliability of Benchmark-Based Evaluation of LLMs

Resumen

Support