ChatPaper.aiChatPaper

A Correspondência de Respostas Supera as Escolhas Múltiplas na Avaliação de Modelos de Linguagem

Answer Matching Outperforms Multiple Choice for Language Model Evaluation

July 3, 2025
Autores: Nikhil Chandak, Shashwat Goel, Ameya Prabhu, Moritz Hardt, Jonas Geiping
cs.AI

Resumo

Os benchmarks de múltipla escolha têm sido há muito tempo a base da avaliação de modelos de linguagem, pois a correção de questões de múltipla escolha é objetiva e fácil de automatizar. No entanto, mostramos que as questões de múltipla escolha de benchmarks populares podem frequentemente ser respondidas sem sequer ver a pergunta. Esses atalhos surgem de uma limitação fundamental da avaliação discriminativa, que não é compartilhada pelas avaliações das respostas gerativas de forma livre do modelo. Até recentemente, parecia não haver uma alternativa viável e escalável à múltipla escolha—mas mostramos que isso mudou. Consideramos a avaliação generativa por meio do que chamamos de correspondência de respostas: forneça ao modelo candidato a pergunta sem as opções, peça que ele gere uma resposta de forma livre e, em seguida, use um modelo de linguagem moderno com a resposta de referência para determinar se a resposta corresponde à referência. Para comparar a validade de diferentes estratégias de avaliação, anotamos o MMLU-Pro e o GPQA-Diamond para obter dados de avaliação humana e medimos a concordância de cada abordagem de avaliação. Descobrimos que a correspondência de respostas usando modelos recentes—mesmo os menores—atinge uma concordância quase perfeita, dentro da faixa de concordância entre anotadores. Em contraste, tanto a avaliação de múltipla escolha quanto o uso de LLM-como-juiz sem respostas de referência alinham-se mal com a avaliação humana. Melhorar as avaliações por meio da correspondência de respostas não é apenas uma preocupação conceitual: as classificações de vários modelos mudam significativamente ao avaliar suas respostas de forma livre com correspondência de respostas. Diante dessas descobertas, discutimos como mover o ecossistema de avaliação da múltipla escolha para a correspondência de respostas.
English
Multiple choice benchmarks have long been the workhorse of language model evaluation because grading multiple choice is objective and easy to automate. However, we show multiple choice questions from popular benchmarks can often be answered without even seeing the question. These shortcuts arise from a fundamental limitation of discriminative evaluation not shared by evaluations of the model's free-form, generative answers. Until recently, there appeared to be no viable, scalable alternative to multiple choice--but, we show that this has changed. We consider generative evaluation via what we call answer matching: Give the candidate model the question without the options, have it generate a free-form response, then use a modern language model with the reference answer to determine if the response matches the reference. To compare the validity of different evaluation strategies, we annotate MMLU-Pro and GPQA-Diamond to obtain human grading data, and measure the agreement of each evaluation approach. We find answer matching using recent models--even small ones--achieves near-perfect agreement, in the range of inter-annotator agreement. In contrast, both multiple choice evaluation and using LLM-as-a-judge without reference answers aligns poorly with human grading. Improving evaluations via answer matching is not merely a conceptual concern: the rankings of several models change significantly when evaluating their free-form responses with answer matching. In light of these findings, we discuss how to move the evaluation ecosystem from multiple choice to answer matching.
PDF82July 4, 2025