Valutare i Giudici: Analisi dell'Allineamento e delle Vulnerabilità nei Modelli Linguistici come Giudici

Abstract

Offrendo una soluzione promettente alle sfide di scalabilità associate alla valutazione umana, il paradigma LLM-as-a-judge sta rapidamente guadagnando popolarità come approccio per valutare i grandi modelli linguistici (LLM). Tuttavia, rimangono ancora molte domande aperte sui punti di forza e di debolezza di questo paradigma e sui potenziali bias che potrebbe presentare. In questo articolo, presentiamo uno studio completo delle prestazioni di vari LLM che agiscono come giudici. Utilizziamo TriviaQA come benchmark per valutare il ragionamento oggettivo delle conoscenze degli LLM e li valutiamo insieme ad annotazioni umane che abbiamo riscontrato avere un elevato accordo inter-annotatore. Il nostro studio include 9 modelli giudice e 9 modelli esaminatori, sia di base che ottimizzati per istruzioni. Valutiamo l'allineamento del modello giudice rispetto a diverse dimensioni, famiglie e prompt per i giudici. Tra gli altri risultati, la nostra ricerca riscopre l'importanza di utilizzare il kappa di Cohen come metrica di allineamento rispetto al semplice accordo percentuale, dimostrando che giudici con un elevato accordo percentuale possono comunque assegnare punteggi molto diversi. Scopriamo che sia Llama-3 70B che GPT-4 Turbo hanno un eccellente allineamento con gli umani, ma in termini di classificazione dei modelli esaminatori, vengono superati sia da JudgeLM-7B che dal giudice lessicale Contains, che hanno un allineamento umano fino a 34 punti inferiore. Attraverso l'analisi degli errori e vari altri studi, inclusi gli effetti della lunghezza delle istruzioni e del bias di indulgenza, speriamo di fornire lezioni preziose per l'uso futuro degli LLM come giudici.

English

Offering a promising solution to the scalability challenges associated with human evaluation, the LLM-as-a-judge paradigm is rapidly gaining traction as an approach to evaluating large language models (LLMs). However, there are still many open questions about the strengths and weaknesses of this paradigm, and what potential biases it may hold. In this paper, we present a comprehensive study of the performance of various LLMs acting as judges. We leverage TriviaQA as a benchmark for assessing objective knowledge reasoning of LLMs and evaluate them alongside human annotations which we found to have a high inter-annotator agreement. Our study includes 9 judge models and 9 exam taker models -- both base and instruction-tuned. We assess the judge model's alignment across different model sizes, families, and judge prompts. Among other results, our research rediscovers the importance of using Cohen's kappa as a metric of alignment as opposed to simple percent agreement, showing that judges with high percent agreement can still assign vastly different scores. We find that both Llama-3 70B and GPT-4 Turbo have an excellent alignment with humans, but in terms of ranking exam taker models, they are outperformed by both JudgeLM-7B and the lexical judge Contains, which have up to 34 points lower human alignment. Through error analysis and various other studies, including the effects of instruction length and leniency bias, we hope to provide valuable lessons for using LLMs as judges in the future.

Valutare i Giudici: Analisi dell'Allineamento e delle Vulnerabilità nei Modelli Linguistici come Giudici

Judging the Judges: Evaluating Alignment and Vulnerabilities in LLMs-as-Judges

Abstract

Support