Avons-nous terminé avec le MMLU ?

Are We Done with MMLU?

June 6, 2024

Auteurs: Aryo Pradipta Gema, Joshua Ong Jun Leang, Giwon Hong, Alessio Devoto, Alberto Carlo Maria Mancino, Rohit Saxena, Xuanli He, Yu Zhao, Xiaotang Du, Mohammad Reza Ghasemi Madani, Claire Barale, Robert McHardy, Joshua Harris, Jean Kaddour, Emile van Krieken, Pasquale Minervini

cs.AI

Résumé

Peut-être pas. Nous identifions et analysons les erreurs dans le benchmark populaire Massive Multitask Language Understanding (MMLU). Bien que MMLU soit largement adopté, notre analyse révèle de nombreuses erreurs dans les réponses de référence, ce qui obscurcit les véritables capacités des LLM. Par exemple, nous constatons que 57 % des questions analysées dans le sous-ensemble de Virologie contiennent des erreurs. Pour résoudre ce problème, nous introduisons un cadre complet pour identifier les erreurs dans les ensembles de données en utilisant une nouvelle taxonomie des erreurs. Ensuite, nous créons MMLU-Redux, un sous-ensemble de 3 000 questions réannotées manuellement couvrant 30 sujets de MMLU. En utilisant MMLU-Redux, nous démontrons des écarts significatifs par rapport aux métriques de performance des modèles initialement rapportées. Nos résultats plaident fortement pour une révision des questions erronées de MMLU afin d'améliorer son utilité et sa fiabilité futures en tant que benchmark. Par conséquent, nous ouvrons MMLU-Redux pour des annotations supplémentaires : https://huggingface.co/datasets/edinburgh-dawg/mmlu-redux.

English

Maybe not. We identify and analyse errors in the popular Massive Multitask Language Understanding (MMLU) benchmark. Even though MMLU is widely adopted, our analysis demonstrates numerous ground truth errors that obscure the true capabilities of LLMs. For example, we find that 57% of the analysed questions in the Virology subset contain errors. To address this issue, we introduce a comprehensive framework for identifying dataset errors using a novel error taxonomy. Then, we create MMLU-Redux, which is a subset of 3,000 manually re-annotated questions across 30 MMLU subjects. Using MMLU-Redux, we demonstrate significant discrepancies with the model performance metrics that were originally reported. Our results strongly advocate for revising MMLU's error-ridden questions to enhance its future utility and reliability as a benchmark. Therefore, we open up MMLU-Redux for additional annotation https://huggingface.co/datasets/edinburgh-dawg/mmlu-redux.