Antwoordmatching presteert beter dan meerkeuzevragen voor de evaluatie van taalmodellen

Answer Matching Outperforms Multiple Choice for Language Model Evaluation

July 3, 2025

Auteurs: Nikhil Chandak, Shashwat Goel, Ameya Prabhu, Moritz Hardt, Jonas Geiping

cs.AI

Samenvatting

Meerkeuze benchmarks zijn lange tijd de ruggengraat geweest van de evaluatie van taalmodellen, omdat het beoordelen van meerkeuzevragen objectief en eenvoudig te automatiseren is. We laten echter zien dat meerkeuzevragen uit populaire benchmarks vaak beantwoord kunnen worden zonder de vraag zelfs maar te zien. Deze omwegen ontstaan door een fundamentele beperking van discriminerende evaluatie, die niet van toepassing is op evaluaties van de vrije, generatieve antwoorden van het model. Tot voor kort leek er geen levensvatbaar, schaalbaar alternatief voor meerkeuzevragen te bestaan, maar we tonen aan dat dit is veranderd. We beschouwen generatieve evaluatie via wat we antwoordmatching noemen: geef het kandidaatmodel de vraag zonder de opties, laat het een vrij antwoord genereren, en gebruik vervolgens een modern taalmodel met het referentieantwoord om te bepalen of het antwoord overeenkomt met de referentie. Om de geldigheid van verschillende evaluatiestrategieën te vergelijken, annoteren we MMLU-Pro en GPQA-Diamond om menselijke beoordelingsgegevens te verkrijgen, en meten we de overeenstemming van elke evaluatiebenadering. We ontdekken dat antwoordmatching met recente modellen—zelfs kleine—bijna perfecte overeenstemming bereikt, in de orde van inter-annotatorovereenstemming. Daarentegen sluiten zowel meerkeuze-evaluatie als het gebruik van LLM-as-a-judge zonder referentieantwoorden slecht aan bij menselijke beoordelingen. Het verbeteren van evaluaties via antwoordmatching is niet slechts een conceptuele zorg: de rangschikking van verschillende modellen verandert aanzienlijk wanneer hun vrije antwoorden worden geëvalueerd met antwoordmatching. In het licht van deze bevindingen bespreken we hoe het evaluatie-ecosysteem kan worden verplaatst van meerkeuzevragen naar antwoordmatching.

English

Multiple choice benchmarks have long been the workhorse of language model evaluation because grading multiple choice is objective and easy to automate. However, we show multiple choice questions from popular benchmarks can often be answered without even seeing the question. These shortcuts arise from a fundamental limitation of discriminative evaluation not shared by evaluations of the model's free-form, generative answers. Until recently, there appeared to be no viable, scalable alternative to multiple choice--but, we show that this has changed. We consider generative evaluation via what we call answer matching: Give the candidate model the question without the options, have it generate a free-form response, then use a modern language model with the reference answer to determine if the response matches the reference. To compare the validity of different evaluation strategies, we annotate MMLU-Pro and GPQA-Diamond to obtain human grading data, and measure the agreement of each evaluation approach. We find answer matching using recent models--even small ones--achieves near-perfect agreement, in the range of inter-annotator agreement. In contrast, both multiple choice evaluation and using LLM-as-a-judge without reference answers aligns poorly with human grading. Improving evaluations via answer matching is not merely a conceptual concern: the rankings of several models change significantly when evaluating their free-form responses with answer matching. In light of these findings, we discuss how to move the evaluation ecosystem from multiple choice to answer matching.