Прометей 2: открытая модель языка, специализированная на оценке других моделей языка

Prometheus 2: An Open Source Language Model Specialized in Evaluating Other Language Models

May 2, 2024

Авторы: Seungone Kim, Juyoung Suk, Shayne Longpre, Bill Yuchen Lin, Jamin Shin, Sean Welleck, Graham Neubig, Moontae Lee, Kyungjae Lee, Minjoon Seo

cs.AI

Аннотация

Проприетарные языковые модели, такие как GPT-4, часто используются для оценки качества ответов различных языковых моделей. Однако проблемы, такие как недостаточная прозрачность, управляемость и доступность, сильно мотивируют разработку открытых языковых моделей, специализированных на оценке. С другой стороны, существующие открытые оценочные языковые модели обнаруживают серьезные недостатки: 1) они выдают оценки, значительно отличающиеся от оценок, присвоенных людьми, и 2) им не хватает гибкости для выполнения как прямой оценки, так и попарного ранжирования, двух наиболее распространенных форм оценки. Кроме того, они не обладают способностью оценивать на основе пользовательских критериев оценки, фокусируясь вместо этого на общих характеристиках, таких как полезность и безопасность. Для решения этих проблем мы представляем Prometheus 2, более мощную оценочную языковую модель, чем ее предшественник, которая тесно соответствует суждениям людей и GPT-4. Более того, она способна обрабатывать как прямую оценку, так и формат попарного ранжирования, сгруппированный с пользовательскими критериями оценки. На четырех бенчмарках прямой оценки и четырех бенчмарках попарного ранжирования Prometheus 2 показывает наивысшую корреляцию и согласованность с людьми и проприетарными судьями языковых моделей среди всех протестированных открытых оценочных языковых моделей. Наши модели, код и данные доступны публично по адресу https://github.com/prometheus-eval/prometheus-eval.

English

Proprietary LMs such as GPT-4 are often employed to assess the quality of responses from various LMs. However, concerns including transparency, controllability, and affordability strongly motivate the development of open-source LMs specialized in evaluations. On the other hand, existing open evaluator LMs exhibit critical shortcomings: 1) they issue scores that significantly diverge from those assigned by humans, and 2) they lack the flexibility to perform both direct assessment and pairwise ranking, the two most prevalent forms of assessment. Additionally, they do not possess the ability to evaluate based on custom evaluation criteria, focusing instead on general attributes like helpfulness and harmlessness. To address these issues, we introduce Prometheus 2, a more powerful evaluator LM than its predecessor that closely mirrors human and GPT-4 judgements. Moreover, it is capable of processing both direct assessment and pair-wise ranking formats grouped with a user-defined evaluation criteria. On four direct assessment benchmarks and four pairwise ranking benchmarks, Prometheus 2 scores the highest correlation and agreement with humans and proprietary LM judges among all tested open evaluator LMs. Our models, code, and data are all publicly available at https://github.com/prometheus-eval/prometheus-eval.