La corrispondenza delle risposte supera le domande a scelta multipla per la valutazione dei modelli linguistici

Answer Matching Outperforms Multiple Choice for Language Model Evaluation

July 3, 2025

Autori: Nikhil Chandak, Shashwat Goel, Ameya Prabhu, Moritz Hardt, Jonas Geiping

cs.AI

Abstract

I benchmark a scelta multipla sono stati a lungo il cavallo di battaglia della valutazione dei modelli linguistici, poiché la valutazione delle scelte multiple è oggettiva e facile da automatizzare. Tuttavia, dimostriamo che le domande a scelta multipla provenienti da benchmark popolari possono spesso essere risposte senza nemmeno vedere la domanda. Queste scorciatoie derivano da una limitazione fondamentale della valutazione discriminativa, non condivisa dalle valutazioni delle risposte libere e generative del modello. Fino a poco tempo fa, non sembrava esserci un'alternativa valida e scalabile alla scelta multipla, ma dimostriamo che questo è cambiato. Consideriamo la valutazione generativa attraverso quello che chiamiamo "answer matching": forniamo al modello candidato la domanda senza le opzioni, lo facciamo generare una risposta libera, quindi utilizziamo un moderno modello linguistico con la risposta di riferimento per determinare se la risposta corrisponde a quella di riferimento. Per confrontare la validità delle diverse strategie di valutazione, annotiamo MMLU-Pro e GPQA-Diamond per ottenere dati di valutazione umana e misuriamo l'accordo di ciascun approccio di valutazione. Troviamo che l'answer matching utilizzando modelli recenti—anche di piccole dimensioni—raggiunge un accordo quasi perfetto, nell'intervallo dell'accordo tra annotatori. Al contrario, sia la valutazione a scelta multipla che l'uso di LLM come giudice senza risposte di riferimento si allineano male con la valutazione umana. Migliorare le valutazioni attraverso l'answer matching non è solo una preoccupazione concettuale: le classifiche di diversi modelli cambiano significativamente quando si valutano le loro risposte libere con l'answer matching. Alla luce di questi risultati, discutiamo come spostare l'ecosistema di valutazione dalla scelta multipla all'answer matching.

English

Multiple choice benchmarks have long been the workhorse of language model evaluation because grading multiple choice is objective and easy to automate. However, we show multiple choice questions from popular benchmarks can often be answered without even seeing the question. These shortcuts arise from a fundamental limitation of discriminative evaluation not shared by evaluations of the model's free-form, generative answers. Until recently, there appeared to be no viable, scalable alternative to multiple choice--but, we show that this has changed. We consider generative evaluation via what we call answer matching: Give the candidate model the question without the options, have it generate a free-form response, then use a modern language model with the reference answer to determine if the response matches the reference. To compare the validity of different evaluation strategies, we annotate MMLU-Pro and GPQA-Diamond to obtain human grading data, and measure the agreement of each evaluation approach. We find answer matching using recent models--even small ones--achieves near-perfect agreement, in the range of inter-annotator agreement. In contrast, both multiple choice evaluation and using LLM-as-a-judge without reference answers aligns poorly with human grading. Improving evaluations via answer matching is not merely a conceptual concern: the rankings of several models change significantly when evaluating their free-form responses with answer matching. In light of these findings, we discuss how to move the evaluation ecosystem from multiple choice to answer matching.