Мы закончили с MMLU?

Are We Done with MMLU?

June 6, 2024

Авторы: Aryo Pradipta Gema, Joshua Ong Jun Leang, Giwon Hong, Alessio Devoto, Alberto Carlo Maria Mancino, Rohit Saxena, Xuanli He, Yu Zhao, Xiaotang Du, Mohammad Reza Ghasemi Madani, Claire Barale, Robert McHardy, Joshua Harris, Jean Kaddour, Emile van Krieken, Pasquale Minervini

cs.AI

Аннотация

Возможно, нет. Мы выявляем и анализируем ошибки в популярном бенчмарке Massive Multitask Language Understanding (MMLU). Несмотря на широкое принятие MMLU, наш анализ показывает многочисленные ошибки в исходных данных, которые затрудняют реальные возможности LLMs. Например, мы обнаружили, что 57% проанализированных вопросов в подмножестве Вирусологии содержат ошибки. Для решения этой проблемы мы представляем комплексную систему идентификации ошибок в наборе данных с использованием новой таксономии ошибок. Затем мы создаем MMLU-Redux, который представляет собой подмножество из 3 000 вопросов, переаннотированных вручную по 30 предметам MMLU. Используя MMLU-Redux, мы демонстрируем значительные расхождения с метриками производительности модели, которые изначально были сообщены. Наши результаты настоятельно рекомендуют пересмотреть вопросы MMLU с ошибками для улучшения его будущей полезности и надежности в качестве бенчмарка. Поэтому мы открываем доступ к MMLU-Redux для дополнительной аннотации по ссылке https://huggingface.co/datasets/edinburgh-dawg/mmlu-redux.

English

Maybe not. We identify and analyse errors in the popular Massive Multitask Language Understanding (MMLU) benchmark. Even though MMLU is widely adopted, our analysis demonstrates numerous ground truth errors that obscure the true capabilities of LLMs. For example, we find that 57% of the analysed questions in the Virology subset contain errors. To address this issue, we introduce a comprehensive framework for identifying dataset errors using a novel error taxonomy. Then, we create MMLU-Redux, which is a subset of 3,000 manually re-annotated questions across 30 MMLU subjects. Using MMLU-Redux, we demonstrate significant discrepancies with the model performance metrics that were originally reported. Our results strongly advocate for revising MMLU's error-ridden questions to enhance its future utility and reliability as a benchmark. Therefore, we open up MMLU-Redux for additional annotation https://huggingface.co/datasets/edinburgh-dawg/mmlu-redux.