Sind wir mit MMLU fertig?

Are We Done with MMLU?

June 6, 2024

Autoren: Aryo Pradipta Gema, Joshua Ong Jun Leang, Giwon Hong, Alessio Devoto, Alberto Carlo Maria Mancino, Rohit Saxena, Xuanli He, Yu Zhao, Xiaotang Du, Mohammad Reza Ghasemi Madani, Claire Barale, Robert McHardy, Joshua Harris, Jean Kaddour, Emile van Krieken, Pasquale Minervini

cs.AI

Zusammenfassung

Vielleicht nicht. Wir identifizieren und analysieren Fehler im beliebten Massive Multitask Language Understanding (MMLU) Benchmark. Obwohl MMLU weit verbreitet ist, zeigt unsere Analyse zahlreiche Fehler in den Ground-Truth-Daten auf, die die tatsächlichen Fähigkeiten von LLMs verschleiern. Zum Beispiel haben wir festgestellt, dass 57% der analysierten Fragen im Virologie-Teil Fehler enthalten. Um dieses Problem anzugehen, stellen wir ein umfassendes Framework zur Identifizierung von Datensatzfehlern unter Verwendung einer neuartigen Fehler-Taxonomie vor. Anschließend erstellen wir MMLU-Redux, das eine Teilmenge von 3.000 manuell neu annotierten Fragen über 30 MMLU-Themen umfasst. Unter Verwendung von MMLU-Redux zeigen wir signifikante Diskrepanzen bei den Modellleistungsmetriken auf, die ursprünglich berichtet wurden. Unsere Ergebnisse sprechen sich nachdrücklich dafür aus, fehlerhafte Fragen in MMLU zu überarbeiten, um deren zukünftige Nützlichkeit und Zuverlässigkeit als Benchmark zu verbessern. Daher stellen wir MMLU-Redux für zusätzliche Annotationen zur Verfügung unter https://huggingface.co/datasets/edinburgh-dawg/mmlu-redux.

English

Maybe not. We identify and analyse errors in the popular Massive Multitask Language Understanding (MMLU) benchmark. Even though MMLU is widely adopted, our analysis demonstrates numerous ground truth errors that obscure the true capabilities of LLMs. For example, we find that 57% of the analysed questions in the Virology subset contain errors. To address this issue, we introduce a comprehensive framework for identifying dataset errors using a novel error taxonomy. Then, we create MMLU-Redux, which is a subset of 3,000 manually re-annotated questions across 30 MMLU subjects. Using MMLU-Redux, we demonstrate significant discrepancies with the model performance metrics that were originally reported. Our results strongly advocate for revising MMLU's error-ridden questions to enhance its future utility and reliability as a benchmark. Therefore, we open up MMLU-Redux for additional annotation https://huggingface.co/datasets/edinburgh-dawg/mmlu-redux.