Prometheus 2: Um Modelo de Linguagem de Código Aberto Especializado na Avaliação de Outros Modelos de Linguagem
Prometheus 2: An Open Source Language Model Specialized in Evaluating Other Language Models
May 2, 2024
Autores: Seungone Kim, Juyoung Suk, Shayne Longpre, Bill Yuchen Lin, Jamin Shin, Sean Welleck, Graham Neubig, Moontae Lee, Kyungjae Lee, Minjoon Seo
cs.AI
Resumo
Modelos de linguagem proprietários, como o GPT-4, são frequentemente utilizados para avaliar a qualidade das respostas de diversos modelos de linguagem. No entanto, preocupações relacionadas à transparência, controlabilidade e custo fortemente motivam o desenvolvimento de modelos de linguagem de código aberto especializados em avaliações. Por outro lado, os modelos avaliadores abertos existentes apresentam deficiências críticas: 1) eles atribuem pontuações que divergem significativamente das atribuídas por humanos, e 2) carecem da flexibilidade para realizar tanto avaliações diretas quanto comparações pareadas, as duas formas mais prevalentes de avaliação. Além disso, eles não possuem a capacidade de avaliar com base em critérios personalizados, focando-se em atributos gerais como utilidade e inofensividade. Para abordar essas questões, apresentamos o Prometheus 2, um modelo avaliador mais poderoso que seu antecessor e que reflete de perto os julgamentos humanos e do GPT-4. Além disso, ele é capaz de processar tanto formatos de avaliação direta quanto de comparação pareada, agrupados com critérios de avaliação definidos pelo usuário. Em quatro benchmarks de avaliação direta e quatro de comparação pareada, o Prometheus 2 alcança a maior correlação e concordância com julgamentos humanos e de modelos proprietários entre todos os modelos avaliadores abertos testados. Nossos modelos, código e dados estão todos disponíveis publicamente em https://github.com/prometheus-eval/prometheus-eval.
English
Proprietary LMs such as GPT-4 are often employed to assess the quality of
responses from various LMs. However, concerns including transparency,
controllability, and affordability strongly motivate the development of
open-source LMs specialized in evaluations. On the other hand, existing open
evaluator LMs exhibit critical shortcomings: 1) they issue scores that
significantly diverge from those assigned by humans, and 2) they lack the
flexibility to perform both direct assessment and pairwise ranking, the two
most prevalent forms of assessment. Additionally, they do not possess the
ability to evaluate based on custom evaluation criteria, focusing instead on
general attributes like helpfulness and harmlessness. To address these issues,
we introduce Prometheus 2, a more powerful evaluator LM than its predecessor
that closely mirrors human and GPT-4 judgements. Moreover, it is capable of
processing both direct assessment and pair-wise ranking formats grouped with a
user-defined evaluation criteria. On four direct assessment benchmarks and four
pairwise ranking benchmarks, Prometheus 2 scores the highest correlation and
agreement with humans and proprietary LM judges among all tested open evaluator
LMs. Our models, code, and data are all publicly available at
https://github.com/prometheus-eval/prometheus-eval.