Zijn We Klaar met MMLU?

Are We Done with MMLU?

June 6, 2024

Auteurs: Aryo Pradipta Gema, Joshua Ong Jun Leang, Giwon Hong, Alessio Devoto, Alberto Carlo Maria Mancino, Rohit Saxena, Xuanli He, Yu Zhao, Xiaotang Du, Mohammad Reza Ghasemi Madani, Claire Barale, Robert McHardy, Joshua Harris, Jean Kaddour, Emile van Krieken, Pasquale Minervini

cs.AI

Samenvatting

Misschien niet. We identificeren en analyseren fouten in de populaire Massive Multitask Language Understanding (MMLU) benchmark. Hoewel MMLU breed wordt geadopteerd, toont onze analyse talrijke grondwaarheidsfouten aan die de werkelijke capaciteiten van LLMs verhullen. Zo ontdekken we dat 57% van de geanalyseerde vragen in de Virologie-subset fouten bevat. Om dit probleem aan te pakken, introduceren we een uitgebreid raamwerk voor het identificeren van datasetfouten met behulp van een nieuwe foutentaxonomie. Vervolgens creëren we MMLU-Redux, een subset van 3.000 handmatig geannoteerde vragen uit 30 MMLU-onderwerpen. Met MMLU-Redux demonstreren we significante discrepanties met de oorspronkelijk gerapporteerde modelprestatiemetingen. Onze resultaten pleiten sterk voor het herzien van de foutgevoelige vragen in MMLU om de toekomstige bruikbaarheid en betrouwbaarheid als benchmark te verbeteren. Daarom stellen we MMLU-Redux open voor aanvullende annotatie: https://huggingface.co/datasets/edinburgh-dawg/mmlu-redux.

English

Maybe not. We identify and analyse errors in the popular Massive Multitask Language Understanding (MMLU) benchmark. Even though MMLU is widely adopted, our analysis demonstrates numerous ground truth errors that obscure the true capabilities of LLMs. For example, we find that 57% of the analysed questions in the Virology subset contain errors. To address this issue, we introduce a comprehensive framework for identifying dataset errors using a novel error taxonomy. Then, we create MMLU-Redux, which is a subset of 3,000 manually re-annotated questions across 30 MMLU subjects. Using MMLU-Redux, we demonstrate significant discrepancies with the model performance metrics that were originally reported. Our results strongly advocate for revising MMLU's error-ridden questions to enhance its future utility and reliability as a benchmark. Therefore, we open up MMLU-Redux for additional annotation https://huggingface.co/datasets/edinburgh-dawg/mmlu-redux.