¿Hemos terminado con MMLU?

Are We Done with MMLU?

June 6, 2024

Autores: Aryo Pradipta Gema, Joshua Ong Jun Leang, Giwon Hong, Alessio Devoto, Alberto Carlo Maria Mancino, Rohit Saxena, Xuanli He, Yu Zhao, Xiaotang Du, Mohammad Reza Ghasemi Madani, Claire Barale, Robert McHardy, Joshua Harris, Jean Kaddour, Emile van Krieken, Pasquale Minervini

cs.AI

Resumen

Quizás no. Identificamos y analizamos errores en el popular benchmark de Comprensión del Lenguaje Multitarea Masiva (MMLU). Aunque MMLU es ampliamente adoptado, nuestro análisis demuestra numerosos errores en las respuestas de referencia que oscurecen las verdaderas capacidades de los LLM. Por ejemplo, encontramos que el 57% de las preguntas analizadas en el subconjunto de Virología contienen errores. Para abordar este problema, introducimos un marco integral para identificar errores en conjuntos de datos utilizando una taxonomía de errores novedosa. Luego, creamos MMLU-Redux, un subconjunto de 3,000 preguntas reanotadas manualmente en 30 temas de MMLU. Utilizando MMLU-Redux, demostramos discrepancias significativas con las métricas de rendimiento de los modelos que se reportaron originalmente. Nuestros resultados abogan firmemente por revisar las preguntas de MMLU que contienen errores para mejorar su utilidad y confiabilidad futura como benchmark. Por lo tanto, abrimos MMLU-Redux para anotaciones adicionales en https://huggingface.co/datasets/edinburgh-dawg/mmlu-redux.

English

Maybe not. We identify and analyse errors in the popular Massive Multitask Language Understanding (MMLU) benchmark. Even though MMLU is widely adopted, our analysis demonstrates numerous ground truth errors that obscure the true capabilities of LLMs. For example, we find that 57% of the analysed questions in the Virology subset contain errors. To address this issue, we introduce a comprehensive framework for identifying dataset errors using a novel error taxonomy. Then, we create MMLU-Redux, which is a subset of 3,000 manually re-annotated questions across 30 MMLU subjects. Using MMLU-Redux, we demonstrate significant discrepancies with the model performance metrics that were originally reported. Our results strongly advocate for revising MMLU's error-ridden questions to enhance its future utility and reliability as a benchmark. Therefore, we open up MMLU-Redux for additional annotation https://huggingface.co/datasets/edinburgh-dawg/mmlu-redux.