RevisEval : Amélioration de LLM-en-tant-que-Juge via des Références Adaptées aux Réponses

RevisEval: Improving LLM-as-a-Judge via Response-Adapted References

October 7, 2024

Auteurs: Qiyuan Zhang, Yufei Wang, Tiezheng YU, Yuxin Jiang, Chuhan Wu, Liangyou Li, Yasheng Wang, Xin Jiang, Lifeng Shang, Ruiming Tang, Fuyuan Lyu, Chen Ma

cs.AI

Résumé

Avec des efforts significatifs dans les études récentes, LLM-en-tant-que-Juge est devenu une alternative rentable à l'évaluation humaine pour évaluer la qualité de la génération de texte dans une large gamme de tâches. Cependant, il subsiste encore un écart de fiabilité entre LLM-en-tant-que-Juge et l'évaluation humaine. Une raison importante est le manque d'oracles guidés dans le processus d'évaluation. Motivés par le rôle de la référence largement utilisée dans l'évaluation classique de texte, nous introduisons RevisEval, un nouveau paradigme d'évaluation de génération de texte via les références adaptées à la réponse. RevisEval est basé sur l'observation clé qu'une référence idéale devrait maintenir la pertinence nécessaire à la réponse à évaluer. Plus précisément, RevisEval tire parti des capacités de révision de texte des grands modèles de langage (LLMs) pour réviser de manière adaptative la réponse, puis traiter le texte révisé comme la référence (référence adaptée à la réponse) pour l'évaluation ultérieure. Des expériences approfondies démontrent que RevisEval surpasse les paradigmes d'évaluation traditionnels sans référence et basés sur la référence qui utilisent LLM-en-tant-que-Juge à travers les tâches de génération de langage naturel (NLG) et les tâches de suivi d'instructions ouvertes. Plus important encore, nos références adaptées à la réponse peuvent renforcer davantage les mesures de texte classiques, par exemple BLEU et BERTScore, par rapport aux références traditionnelles et même rivaliser avec LLM-en-tant-que-Juge. Une analyse détaillée est également menée pour confirmer l'efficacité de RevisEval dans la réduction des biais, l'impact du coût d'inférence et la pertinence de la référence.

English

With significant efforts in recent studies, LLM-as-a-Judge has become a cost-effective alternative to human evaluation for assessing the text generation quality in a wide range of tasks. However, there still remains a reliability gap between LLM-as-a-Judge and human evaluation. One important reason is the lack of guided oracles in the evaluation process. Motivated by the role of reference pervasively used in classic text evaluation, we introduce RevisEval, a novel text generation evaluation paradigm via the response-adapted references. RevisEval is driven by the key observation that an ideal reference should maintain the necessary relevance to the response to be evaluated. Specifically, RevisEval leverages the text revision capabilities of large language models (LLMs) to adaptively revise the response, then treat the revised text as the reference (response-adapted reference) for the subsequent evaluation. Extensive experiments demonstrate that RevisEval outperforms traditional reference-free and reference-based evaluation paradigms that use LLM-as-a-Judge across NLG tasks and open-ended instruction-following tasks. More importantly, our response-adapted references can further boost the classical text metrics, e.g., BLEU and BERTScore, compared to traditional references and even rival the LLM-as-a-Judge. A detailed analysis is also conducted to confirm RevisEval's effectiveness in bias reduction, the impact of inference cost, and reference relevance.