Evaluando a los evaluadores: Análisis de la alineación y vulnerabilidades en los LLM como jueces

Judging the Judges: Evaluating Alignment and Vulnerabilities in LLMs-as-Judges

June 18, 2024

Autores: Aman Singh Thakur, Kartik Choudhary, Venkat Srinik Ramayapally, Sankaran Vaidyanathan, Dieuwke Hupkes

cs.AI

Resumen

Ofreciendo una solución prometedora a los desafíos de escalabilidad asociados con la evaluación humana, el paradigma de "LLM como juez" está ganando rápidamente tracción como un enfoque para evaluar modelos de lenguaje grandes (LLMs). Sin embargo, aún existen muchas preguntas abiertas sobre las fortalezas y debilidades de este paradigma, y qué posibles sesgos puede presentar. En este artículo, presentamos un estudio exhaustivo del rendimiento de varios LLMs actuando como jueces. Utilizamos TriviaQA como punto de referencia para evaluar el razonamiento de conocimiento objetivo de los LLMs y los comparamos con anotaciones humanas que mostraron un alto acuerdo entre anotadores. Nuestro estudio incluye 9 modelos jueces y 9 modelos examinados, tanto básicos como ajustados por instrucciones. Evaluamos la alineación del modelo juez en diferentes tamaños de modelos, familias y prompts de juez. Entre otros resultados, nuestra investigación redescubre la importancia de utilizar el kappa de Cohen como métrica de alineación en lugar del simple porcentaje de acuerdo, mostrando que jueces con un alto porcentaje de acuerdo pueden asignar puntuaciones muy diferentes. Encontramos que tanto Llama-3 70B como GPT-4 Turbo tienen una excelente alineación con los humanos, pero en términos de clasificación de modelos examinados, son superados tanto por JudgeLM-7B como por el juez léxico Contains, que tienen hasta 34 puntos menos de alineación humana. A través del análisis de errores y varios otros estudios, incluidos los efectos de la longitud de las instrucciones y el sesgo de indulgencia, esperamos proporcionar lecciones valiosas para el uso futuro de LLMs como jueces.

English

Offering a promising solution to the scalability challenges associated with human evaluation, the LLM-as-a-judge paradigm is rapidly gaining traction as an approach to evaluating large language models (LLMs). However, there are still many open questions about the strengths and weaknesses of this paradigm, and what potential biases it may hold. In this paper, we present a comprehensive study of the performance of various LLMs acting as judges. We leverage TriviaQA as a benchmark for assessing objective knowledge reasoning of LLMs and evaluate them alongside human annotations which we found to have a high inter-annotator agreement. Our study includes 9 judge models and 9 exam taker models -- both base and instruction-tuned. We assess the judge model's alignment across different model sizes, families, and judge prompts. Among other results, our research rediscovers the importance of using Cohen's kappa as a metric of alignment as opposed to simple percent agreement, showing that judges with high percent agreement can still assign vastly different scores. We find that both Llama-3 70B and GPT-4 Turbo have an excellent alignment with humans, but in terms of ranking exam taker models, they are outperformed by both JudgeLM-7B and the lexical judge Contains, which have up to 34 points lower human alignment. Through error analysis and various other studies, including the effects of instruction length and leniency bias, we hope to provide valuable lessons for using LLMs as judges in the future.