Giudici Quantitativi di LLM

Quantitative LLM Judges

June 3, 2025

Autori: Aishwarya Sahoo, Jeevana Kruthi Karnuthala, Tushar Parmanand Budhwani, Pranchal Agarwal, Sankaran Vaidyanathan, Alexa Siu, Franck Dernoncourt, Jennifer Healey, Nedim Lipka, Ryan Rossi, Uttaran Bhattacharya, Branislav Kveton

cs.AI

Abstract

LLM-as-a-judge è un framework in cui un modello linguistico di grandi dimensioni (LLM) valuta automaticamente l'output di un altro LLM. Proponiamo giudici LLM quantitativi, che allineano i punteggi di valutazione dei giudici LLM esistenti ai punteggi umani in un determinato dominio utilizzando modelli di regressione. I modelli sono addestrati per migliorare il punteggio del giudice originale utilizzando la valutazione testuale e il punteggio del giudice. Presentiamo quattro giudici quantitativi per diversi tipi di feedback assoluti e relativi, dimostrando la generalità e la versatilità del nostro framework. Il nostro framework è più efficiente dal punto di vista computazionale rispetto al fine-tuning supervisionato e può essere più efficiente statisticamente quando il feedback umano è limitato, come ci si aspetta nella maggior parte delle applicazioni del nostro lavoro. Validiamo empiricamente queste affermazioni su quattro dataset utilizzando due giudici di base. I nostri esperimenti dimostrano che i giudici quantitativi possono migliorare efficacemente il potere predittivo dei giudici esistenti attraverso la modellazione post-hoc.

English

LLM-as-a-judge is a framework in which a large language model (LLM) automatically evaluates the output of another LLM. We propose quantitative LLM judges, which align evaluation scores of existing LLM judges to human scores in a given domain using regression models. The models are trained to improve the score of the original judge by using the judge's textual evaluation and score. We present four quantitative judges for different types of absolute and relative feedback, which showcases the generality and versatility of our framework. Our framework is more computationally efficient than supervised fine-tuning and can be more statistically efficient when human feedback is limited, which is expected in most applications of our work. We validate these claims empirically on four datasets using two base judges. Our experiments show that quantitative judges can effectively improve the predictive power of existing judges through post-hoc modeling.