De Rechters Beoordelen: Evaluatie van Afstemming en Kwetsbaarheden in LLM's-als-Rechters

Samenvatting

Het LLM-as-a-judge paradigma biedt een veelbelovende oplossing voor de schaalbaarheidsuitdagingen die gepaard gaan met menselijke evaluatie en wint snel aan populariteit als benadering voor het evalueren van grote taalmodellen (LLM's). Er zijn echter nog veel open vragen over de sterke en zwakke punten van dit paradigma, en over de mogelijke vooroordelen die het kan bevatten. In dit artikel presenteren we een uitgebreide studie naar de prestaties van verschillende LLM's die als beoordelaar fungeren. We gebruiken TriviaQA als benchmark om het objectieve kennisredeneren van LLM's te beoordelen en evalueren deze naast menselijke annotaties, waarvan we vaststelden dat ze een hoge inter-annotatorovereenstemming hebben. Onze studie omvat 9 beoordelaarsmodellen en 9 examenkandidatenmodellen – zowel basis- als instructie-afgestemde modellen. We beoordelen de overeenstemming van het beoordelaarsmodel over verschillende modelgroottes, families en beoordelaarsprompts. Onder andere resultaten herontdekt ons onderzoek het belang van het gebruik van Cohen's kappa als maatstaf voor overeenstemming in plaats van simpele procentuele overeenstemming, waarbij we aantonen dat beoordelaars met een hoge procentuele overeenstemming nog steeds sterk verschillende scores kunnen toekennen. We constateren dat zowel Llama-3 70B als GPT-4 Turbo een uitstekende overeenstemming met mensen hebben, maar wat betreft het rangschikken van examenkandidatenmodellen worden ze overtroffen door zowel JudgeLM-7B als de lexicale beoordelaar Contains, die tot 34 punten lagere menselijke overeenstemming hebben. Door foutenanalyse en diverse andere studies, waaronder de effecten van instructielengte en mildheidsbias, hopen we waardevolle lessen te bieden voor het gebruik van LLM's als beoordelaars in de toekomst.

English

Offering a promising solution to the scalability challenges associated with human evaluation, the LLM-as-a-judge paradigm is rapidly gaining traction as an approach to evaluating large language models (LLMs). However, there are still many open questions about the strengths and weaknesses of this paradigm, and what potential biases it may hold. In this paper, we present a comprehensive study of the performance of various LLMs acting as judges. We leverage TriviaQA as a benchmark for assessing objective knowledge reasoning of LLMs and evaluate them alongside human annotations which we found to have a high inter-annotator agreement. Our study includes 9 judge models and 9 exam taker models -- both base and instruction-tuned. We assess the judge model's alignment across different model sizes, families, and judge prompts. Among other results, our research rediscovers the importance of using Cohen's kappa as a metric of alignment as opposed to simple percent agreement, showing that judges with high percent agreement can still assign vastly different scores. We find that both Llama-3 70B and GPT-4 Turbo have an excellent alignment with humans, but in terms of ranking exam taker models, they are outperformed by both JudgeLM-7B and the lexical judge Contains, which have up to 34 points lower human alignment. Through error analysis and various other studies, including the effects of instruction length and leniency bias, we hope to provide valuable lessons for using LLMs as judges in the future.

De Rechters Beoordelen: Evaluatie van Afstemming en Kwetsbaarheden in LLM's-als-Rechters

Judging the Judges: Evaluating Alignment and Vulnerabilities in LLMs-as-Judges

Samenvatting

Support