Количественные оценки языковых моделей

Quantitative LLM Judges

June 3, 2025

Авторы: Aishwarya Sahoo, Jeevana Kruthi Karnuthala, Tushar Parmanand Budhwani, Pranchal Agarwal, Sankaran Vaidyanathan, Alexa Siu, Franck Dernoncourt, Jennifer Healey, Nedim Lipka, Ryan Rossi, Uttaran Bhattacharya, Branislav Kveton

cs.AI

Аннотация

LLM-as-a-judge — это фреймворк, в котором большая языковая модель (LLM) автоматически оценивает выходные данные другой LLM. Мы предлагаем количественных судей на основе LLM, которые согласуют оценки существующих судей-LLM с человеческими оценками в заданной области с использованием регрессионных моделей. Эти модели обучаются для улучшения оценки исходного судьи, используя текстовую оценку и балл судьи. Мы представляем четырех количественных судей для различных типов абсолютной и относительной обратной связи, что демонстрирует универсальность и гибкость нашего фреймворка. Наш фреймворк более вычислительно эффективен, чем контролируемое тонкое настройка, и может быть более статистически эффективным при ограниченном объеме человеческой обратной связи, что ожидается в большинстве приложений нашей работы. Мы эмпирически подтверждаем эти утверждения на четырех наборах данных с использованием двух базовых судей. Наши эксперименты показывают, что количественные судьи могут эффективно улучшать предсказательную способность существующих судей посредством пост-обработки моделей.

English

LLM-as-a-judge is a framework in which a large language model (LLM) automatically evaluates the output of another LLM. We propose quantitative LLM judges, which align evaluation scores of existing LLM judges to human scores in a given domain using regression models. The models are trained to improve the score of the original judge by using the judge's textual evaluation and score. We present four quantitative judges for different types of absolute and relative feedback, which showcases the generality and versatility of our framework. Our framework is more computationally efficient than supervised fine-tuning and can be more statistically efficient when human feedback is limited, which is expected in most applications of our work. We validate these claims empirically on four datasets using two base judges. Our experiments show that quantitative judges can effectively improve the predictive power of existing judges through post-hoc modeling.