Quantitative LLM-Bewerter

Quantitative LLM Judges

June 3, 2025

Autoren: Aishwarya Sahoo, Jeevana Kruthi Karnuthala, Tushar Parmanand Budhwani, Pranchal Agarwal, Sankaran Vaidyanathan, Alexa Siu, Franck Dernoncourt, Jennifer Healey, Nedim Lipka, Ryan Rossi, Uttaran Bhattacharya, Branislav Kveton

cs.AI

Zusammenfassung

LLM-as-a-judge ist ein Framework, in dem ein großes Sprachmodell (LLM) automatisch die Ausgabe eines anderen LLMs bewertet. Wir schlagen quantitative LLM-Judges vor, die die Bewertungsergebnisse bestehender LLM-Judges an menschliche Bewertungen in einem bestimmten Bereich mithilfe von Regressionsmodellen anpassen. Diese Modelle werden trainiert, um die Bewertung des ursprünglichen Judges zu verbessern, indem sie die textuelle Bewertung und die Punktzahl des Judges nutzen. Wir präsentieren vier quantitative Judges für verschiedene Arten von absolutem und relativem Feedback, was die Allgemeingültigkeit und Vielseitigkeit unseres Frameworks verdeutlicht. Unser Framework ist recheneffizienter als überwachtes Fein-Tuning und kann statistisch effizienter sein, wenn menschliches Feedback begrenzt ist, was in den meisten Anwendungsfällen unserer Arbeit zu erwarten ist. Wir validieren diese Behauptungen empirisch anhand von vier Datensätzen und zwei Basis-Judges. Unsere Experimente zeigen, dass quantitative Judges die Vorhersagekraft bestehender Judges durch post-hoc-Modellierung effektiv verbessern können.

English

LLM-as-a-judge is a framework in which a large language model (LLM) automatically evaluates the output of another LLM. We propose quantitative LLM judges, which align evaluation scores of existing LLM judges to human scores in a given domain using regression models. The models are trained to improve the score of the original judge by using the judge's textual evaluation and score. We present four quantitative judges for different types of absolute and relative feedback, which showcases the generality and versatility of our framework. Our framework is more computationally efficient than supervised fine-tuning and can be more statistically efficient when human feedback is limited, which is expected in most applications of our work. We validate these claims empirically on four datasets using two base judges. Our experiments show that quantitative judges can effectively improve the predictive power of existing judges through post-hoc modeling.