Die Beurteilung der Richter: Bewertung der Ausrichtung und Schwachstellen in LLMs als Richter.

Judging the Judges: Evaluating Alignment and Vulnerabilities in LLMs-as-Judges

June 18, 2024

Autoren: Aman Singh Thakur, Kartik Choudhary, Venkat Srinik Ramayapally, Sankaran Vaidyanathan, Dieuwke Hupkes

cs.AI

Zusammenfassung

Als vielversprechende Lösung für die Skalierbarkeitsprobleme, die mit der menschlichen Bewertung verbunden sind, gewinnt das LLM-als-Richter-Paradigma schnell an Bedeutung als Ansatz zur Bewertung großer Sprachmodelle (LLMs). Es gibt jedoch noch viele offene Fragen zu den Stärken und Schwächen dieses Paradigmas und möglichen vorhandenen Voreingenommenheiten. In diesem Papier präsentieren wir eine umfassende Studie zur Leistung verschiedener LLMs als Richter. Wir nutzen TriviaQA als Benchmark zur Bewertung des objektiven Wissensschlusses von LLMs und bewerten sie neben menschlichen Annotationen, bei denen wir eine hohe Übereinstimmung zwischen Annotatoren festgestellt haben. Unsere Studie umfasst 9 Richtermodelle und 9 Prüflingsmodelle - sowohl Basis- als auch instruktionsangepasste. Wir bewerten die Übereinstimmung der Richtermodelle in Bezug auf verschiedene Modellgrößen, -familien und Richtervorgaben. Unter anderem entdeckt unsere Forschung die Bedeutung der Verwendung von Cohens Kappa als Metrik für die Übereinstimmung im Gegensatz zur einfachen prozentualen Übereinstimmung, wobei gezeigt wird, dass Richter mit hoher prozentualer Übereinstimmung dennoch stark unterschiedliche Punktzahlen vergeben können. Wir stellen fest, dass sowohl Llama-3 70B als auch GPT-4 Turbo eine ausgezeichnete Übereinstimmung mit Menschen aufweisen, aber hinsichtlich der Rangfolge der Prüflingsmodelle von sowohl JudgeLM-7B als auch dem lexikalischen Richter Contains übertroffen werden, die bis zu 34 Punkte niedrigere menschliche Übereinstimmung aufweisen. Durch Fehleranalyse und verschiedene andere Studien, einschließlich der Auswirkungen von Anweisungslänge und Milde-Bias, hoffen wir, wertvolle Lektionen für die zukünftige Verwendung von LLMs als Richter bereitzustellen.

English

Offering a promising solution to the scalability challenges associated with human evaluation, the LLM-as-a-judge paradigm is rapidly gaining traction as an approach to evaluating large language models (LLMs). However, there are still many open questions about the strengths and weaknesses of this paradigm, and what potential biases it may hold. In this paper, we present a comprehensive study of the performance of various LLMs acting as judges. We leverage TriviaQA as a benchmark for assessing objective knowledge reasoning of LLMs and evaluate them alongside human annotations which we found to have a high inter-annotator agreement. Our study includes 9 judge models and 9 exam taker models -- both base and instruction-tuned. We assess the judge model's alignment across different model sizes, families, and judge prompts. Among other results, our research rediscovers the importance of using Cohen's kappa as a metric of alignment as opposed to simple percent agreement, showing that judges with high percent agreement can still assign vastly different scores. We find that both Llama-3 70B and GPT-4 Turbo have an excellent alignment with humans, but in terms of ranking exam taker models, they are outperformed by both JudgeLM-7B and the lexical judge Contains, which have up to 34 points lower human alignment. Through error analysis and various other studies, including the effects of instruction length and leniency bias, we hope to provide valuable lessons for using LLMs as judges in the future.