Antwortabgleich übertrifft Multiple-Choice bei der Bewertung von Sprachmodellen

Answer Matching Outperforms Multiple Choice for Language Model Evaluation

July 3, 2025

papers.authors: Nikhil Chandak, Shashwat Goel, Ameya Prabhu, Moritz Hardt, Jonas Geiping

cs.AI

papers.abstract

Multiple-Choice-Benchmarks waren lange Zeit das Rückgrat der Bewertung von Sprachmodellen, da die Bewertung von Multiple-Choice-Fragen objektiv und einfach zu automatisieren ist. Wir zeigen jedoch, dass Multiple-Choice-Fragen aus beliebten Benchmarks oft beantwortet werden können, ohne die Frage überhaupt zu sehen. Diese Abkürzungen ergeben sich aus einer grundlegenden Einschränkung der diskriminativen Bewertung, die bei der Bewertung der freien, generativen Antworten des Modells nicht vorhanden ist. Bis vor kurzem schien es keine praktikable, skalierbare Alternative zu Multiple-Choice zu geben – doch wir zeigen, dass sich dies geändert hat. Wir betrachten die generative Bewertung durch das, was wir als Antwortabgleich bezeichnen: Geben Sie dem Kandidatenmodell die Frage ohne die Optionen, lassen Sie es eine freie Antwort generieren und verwenden Sie dann ein modernes Sprachmodell mit der Referenzantwort, um festzustellen, ob die Antwort mit der Referenz übereinstimmt. Um die Validität verschiedener Bewertungsstrategien zu vergleichen, annotieren wir MMLU-Pro und GPQA-Diamond, um menschliche Bewertungsdaten zu erhalten, und messen die Übereinstimmung jedes Bewertungsansatzes. Wir stellen fest, dass der Antwortabgleich mit aktuellen Modellen – selbst kleinen – eine nahezu perfekte Übereinstimmung erreicht, im Bereich der Inter-Annotator-Übereinstimmung. Im Gegensatz dazu stimmen sowohl die Multiple-Choice-Bewertung als auch die Verwendung von LLM-als-Richter ohne Referenzantworten schlecht mit der menschlichen Bewertung überein. Die Verbesserung der Bewertungen durch Antwortabgleich ist nicht nur ein konzeptionelles Anliegen: Die Rangfolge mehrerer Modelle ändert sich erheblich, wenn ihre freien Antworten mit Antwortabgleich bewertet werden. Angesichts dieser Erkenntnisse diskutieren wir, wie das Bewertungsökosystem von Multiple-Choice auf Antwortabgleich umgestellt werden kann.

English

Multiple choice benchmarks have long been the workhorse of language model evaluation because grading multiple choice is objective and easy to automate. However, we show multiple choice questions from popular benchmarks can often be answered without even seeing the question. These shortcuts arise from a fundamental limitation of discriminative evaluation not shared by evaluations of the model's free-form, generative answers. Until recently, there appeared to be no viable, scalable alternative to multiple choice--but, we show that this has changed. We consider generative evaluation via what we call answer matching: Give the candidate model the question without the options, have it generate a free-form response, then use a modern language model with the reference answer to determine if the response matches the reference. To compare the validity of different evaluation strategies, we annotate MMLU-Pro and GPQA-Diamond to obtain human grading data, and measure the agreement of each evaluation approach. We find answer matching using recent models--even small ones--achieves near-perfect agreement, in the range of inter-annotator agreement. In contrast, both multiple choice evaluation and using LLM-as-a-judge without reference answers aligns poorly with human grading. Improving evaluations via answer matching is not merely a conceptual concern: the rankings of several models change significantly when evaluating their free-form responses with answer matching. In light of these findings, we discuss how to move the evaluation ecosystem from multiple choice to answer matching.