Kwantitatieve LLM-beoordelaars

Quantitative LLM Judges

June 3, 2025

Auteurs: Aishwarya Sahoo, Jeevana Kruthi Karnuthala, Tushar Parmanand Budhwani, Pranchal Agarwal, Sankaran Vaidyanathan, Alexa Siu, Franck Dernoncourt, Jennifer Healey, Nedim Lipka, Ryan Rossi, Uttaran Bhattacharya, Branislav Kveton

cs.AI

Samenvatting

LLM-as-a-judge is een raamwerk waarin een groot taalmodel (LLM) automatisch de output van een ander LLM evalueert. Wij stellen kwantitatieve LLM-beoordelaars voor, die de evaluatiescores van bestaande LLM-beoordelaars afstemmen op menselijke scores in een bepaald domein met behulp van regressiemodellen. De modellen worden getraind om de score van de oorspronkelijke beoordelaar te verbeteren door gebruik te maken van de tekstuele evaluatie en score van de beoordelaar. Wij presenteren vier kwantitatieve beoordelaars voor verschillende soorten absolute en relatieve feedback, wat de algemeenheid en veelzijdigheid van ons raamwerk aantoont. Ons raamwerk is computationeel efficiënter dan supervised fine-tuning en kan statistisch efficiënter zijn wanneer menselijke feedback beperkt is, wat in de meeste toepassingen van ons werk wordt verwacht. Wij valideren deze claims empirisch op vier datasets met behulp van twee basisbeoordelaars. Onze experimenten tonen aan dat kwantitatieve beoordelaars de voorspellende kracht van bestaande beoordelaars effectief kunnen verbeteren door middel van post-hoc modellering.

English

LLM-as-a-judge is a framework in which a large language model (LLM) automatically evaluates the output of another LLM. We propose quantitative LLM judges, which align evaluation scores of existing LLM judges to human scores in a given domain using regression models. The models are trained to improve the score of the original judge by using the judge's textual evaluation and score. We present four quantitative judges for different types of absolute and relative feedback, which showcases the generality and versatility of our framework. Our framework is more computationally efficient than supervised fine-tuning and can be more statistically efficient when human feedback is limited, which is expected in most applications of our work. We validate these claims empirically on four datasets using two base judges. Our experiments show that quantitative judges can effectively improve the predictive power of existing judges through post-hoc modeling.