Сопоставление ответов превосходит множественный выбор при оценке языковых моделей

Answer Matching Outperforms Multiple Choice for Language Model Evaluation

July 3, 2025

Авторы: Nikhil Chandak, Shashwat Goel, Ameya Prabhu, Moritz Hardt, Jonas Geiping

cs.AI

Аннотация

Тесты с множественным выбором долгое время были основным инструментом оценки языковых моделей, поскольку их проверка объективна и легко автоматизируется. Однако мы показываем, что вопросы с множественным выбором из популярных тестов часто можно ответить, даже не видя самого вопроса. Эти упрощения возникают из-за фундаментального ограничения дискриминативной оценки, которое отсутствует при оценке свободных, генеративных ответов модели. До недавнего времени не существовало жизнеспособной и масштабируемой альтернативы тестам с множественным выбором, но мы демонстрируем, что ситуация изменилась. Мы рассматриваем генеративную оценку через подход, который называем сопоставлением ответов: модель получает вопрос без вариантов ответа, генерирует свободный ответ, а затем современная языковая модель с использованием эталонного ответа определяет, соответствует ли ответ эталону. Чтобы сравнить достоверность различных стратегий оценки, мы аннотируем данные MMLU-Pro и GPQA-Diamond для получения оценок от людей и измеряем согласованность каждого подхода. Мы обнаруживаем, что сопоставление ответов с использованием современных моделей — даже небольших — достигает почти идеальной согласованности, сравнимой с согласованностью между аннотаторами. В то же время как оценка с множественным выбором, так и использование LLM-как-судьи без эталонных ответов плохо согласуются с человеческими оценками. Улучшение оценки через сопоставление ответов — это не просто концептуальная проблема: рейтинги нескольких моделей значительно меняются при оценке их свободных ответов с использованием этого подхода. Учитывая эти результаты, мы обсуждаем, как перевести экосистему оценки от тестов с множественным выбором к сопоставлению ответов.

English

Multiple choice benchmarks have long been the workhorse of language model evaluation because grading multiple choice is objective and easy to automate. However, we show multiple choice questions from popular benchmarks can often be answered without even seeing the question. These shortcuts arise from a fundamental limitation of discriminative evaluation not shared by evaluations of the model's free-form, generative answers. Until recently, there appeared to be no viable, scalable alternative to multiple choice--but, we show that this has changed. We consider generative evaluation via what we call answer matching: Give the candidate model the question without the options, have it generate a free-form response, then use a modern language model with the reference answer to determine if the response matches the reference. To compare the validity of different evaluation strategies, we annotate MMLU-Pro and GPQA-Diamond to obtain human grading data, and measure the agreement of each evaluation approach. We find answer matching using recent models--even small ones--achieves near-perfect agreement, in the range of inter-annotator agreement. In contrast, both multiple choice evaluation and using LLM-as-a-judge without reference answers aligns poorly with human grading. Improving evaluations via answer matching is not merely a conceptual concern: the rankings of several models change significantly when evaluating their free-form responses with answer matching. In light of these findings, we discuss how to move the evaluation ecosystem from multiple choice to answer matching.