Évaluer les évaluateurs : Mesurer l'alignement et les vulnérabilités dans les LLMs en tant que juges

Judging the Judges: Evaluating Alignment and Vulnerabilities in LLMs-as-Judges

June 18, 2024

Auteurs: Aman Singh Thakur, Kartik Choudhary, Venkat Srinik Ramayapally, Sankaran Vaidyanathan, Dieuwke Hupkes

cs.AI

Résumé

Proposant une solution prometteuse aux défis de scalabilité associés à l'évaluation humaine, le paradigme LLM-en-tant-que-juge gagne rapidement en popularité comme approche pour évaluer les grands modèles de langage (LLM). Cependant, de nombreuses questions restent ouvertes concernant les forces et les faiblesses de ce paradigme, ainsi que les biais potentiels qu'il pourrait comporter. Dans cet article, nous présentons une étude approfondie des performances de divers LLM agissant en tant que juges. Nous utilisons TriviaQA comme référence pour évaluer le raisonnement objectif des LLM et les comparons aux annotations humaines, qui présentent un fort accord inter-annotateurs. Notre étude inclut 9 modèles juges et 9 modèles candidats — à la fois de base et ajustés par instruction. Nous évaluons l'alignement des modèles juges en fonction de différentes tailles de modèles, familles et prompts de juges. Parmi d'autres résultats, notre recherche redécouvre l'importance d'utiliser le kappa de Cohen comme métrique d'alignement plutôt qu'un simple accord en pourcentage, montrant que des juges avec un accord en pourcentage élevé peuvent néanmoins attribuer des scores très différents. Nous constatons que Llama-3 70B et GPT-4 Turbo présentent un excellent alignement avec les humains, mais en termes de classement des modèles candidats, ils sont surpassés par JudgeLM-7B et le juge lexical Contains, qui ont jusqu'à 34 points d'alignement humain inférieur. Grâce à l'analyse des erreurs et à diverses autres études, incluant les effets de la longueur des instructions et du biais de clémence, nous espérons fournir des leçons précieuses pour l'utilisation future des LLM en tant que juges.

English

Offering a promising solution to the scalability challenges associated with human evaluation, the LLM-as-a-judge paradigm is rapidly gaining traction as an approach to evaluating large language models (LLMs). However, there are still many open questions about the strengths and weaknesses of this paradigm, and what potential biases it may hold. In this paper, we present a comprehensive study of the performance of various LLMs acting as judges. We leverage TriviaQA as a benchmark for assessing objective knowledge reasoning of LLMs and evaluate them alongside human annotations which we found to have a high inter-annotator agreement. Our study includes 9 judge models and 9 exam taker models -- both base and instruction-tuned. We assess the judge model's alignment across different model sizes, families, and judge prompts. Among other results, our research rediscovers the importance of using Cohen's kappa as a metric of alignment as opposed to simple percent agreement, showing that judges with high percent agreement can still assign vastly different scores. We find that both Llama-3 70B and GPT-4 Turbo have an excellent alignment with humans, but in terms of ranking exam taker models, they are outperformed by both JudgeLM-7B and the lexical judge Contains, which have up to 34 points lower human alignment. Through error analysis and various other studies, including the effects of instruction length and leniency bias, we hope to provide valuable lessons for using LLMs as judges in the future.