Prometheus 2 : Un modèle de langage open source spécialisé dans l'évaluation d'autres modèles de langage

Prometheus 2: An Open Source Language Model Specialized in Evaluating Other Language Models

May 2, 2024

Auteurs: Seungone Kim, Juyoung Suk, Shayne Longpre, Bill Yuchen Lin, Jamin Shin, Sean Welleck, Graham Neubig, Moontae Lee, Kyungjae Lee, Minjoon Seo

cs.AI

Résumé

Les modèles de langage propriétaires tels que GPT-4 sont souvent utilisés pour évaluer la qualité des réponses provenant de divers modèles de langage. Cependant, des préoccupations concernant la transparence, la contrôlabilité et l'accessibilité financière motivent fortement le développement de modèles de langage open-source spécialisés dans les évaluations. D'un autre côté, les modèles évaluateurs open-source existants présentent des lacunes critiques : 1) ils attribuent des scores qui divergent significativement de ceux attribués par les humains, et 2) ils manquent de flexibilité pour effectuer à la fois une évaluation directe et un classement par paires, les deux formes d'évaluation les plus répandues. De plus, ils ne possèdent pas la capacité d'évaluer en fonction de critères personnalisés, se concentrant plutôt sur des attributs généraux comme l'utilité et l'innocuité. Pour résoudre ces problèmes, nous présentons Prometheus 2, un modèle évaluateur plus puissant que son prédécesseur, qui reflète étroitement les jugements humains et ceux de GPT-4. En outre, il est capable de traiter à la fois les formats d'évaluation directe et de classement par paires, regroupés avec un critère d'évaluation défini par l'utilisateur. Sur quatre benchmarks d'évaluation directe et quatre benchmarks de classement par paires, Prometheus 2 obtient la plus haute corrélation et concordance avec les jugements humains et ceux des modèles de langage propriétaires parmi tous les modèles évaluateurs open-source testés. Nos modèles, code et données sont tous disponibles publiquement à l'adresse https://github.com/prometheus-eval/prometheus-eval.

English

Proprietary LMs such as GPT-4 are often employed to assess the quality of responses from various LMs. However, concerns including transparency, controllability, and affordability strongly motivate the development of open-source LMs specialized in evaluations. On the other hand, existing open evaluator LMs exhibit critical shortcomings: 1) they issue scores that significantly diverge from those assigned by humans, and 2) they lack the flexibility to perform both direct assessment and pairwise ranking, the two most prevalent forms of assessment. Additionally, they do not possess the ability to evaluate based on custom evaluation criteria, focusing instead on general attributes like helpfulness and harmlessness. To address these issues, we introduce Prometheus 2, a more powerful evaluator LM than its predecessor that closely mirrors human and GPT-4 judgements. Moreover, it is capable of processing both direct assessment and pair-wise ranking formats grouped with a user-defined evaluation criteria. On four direct assessment benchmarks and four pairwise ranking benchmarks, Prometheus 2 scores the highest correlation and agreement with humans and proprietary LM judges among all tested open evaluator LMs. Our models, code, and data are all publicly available at https://github.com/prometheus-eval/prometheus-eval.