RevisEval: Verbetering van LLM-als-rechter via respons-aangepaste referenties

RevisEval: Improving LLM-as-a-Judge via Response-Adapted References

October 7, 2024

Auteurs: Qiyuan Zhang, Yufei Wang, Tiezheng YU, Yuxin Jiang, Chuhan Wu, Liangyou Li, Yasheng Wang, Xin Jiang, Lifeng Shang, Ruiming Tang, Fuyuan Lyu, Chen Ma

cs.AI

Samenvatting

Met aanzienlijke inspanningen in recente studies is LLM-als-rechter een kosteneffectief alternatief geworden voor menselijke beoordeling om de kwaliteit van tekstgeneratie te beoordelen in een breed scala van taken. Er blijft echter nog steeds een betrouwbaarheidskloof bestaan tussen LLM-als-rechter en menselijke beoordeling. Een belangrijke reden hiervoor is het ontbreken van begeleide orakels in het evaluatieproces. Geïnspireerd door de rol van referenties die veelvuldig worden gebruikt in klassieke tekstevaluatie, introduceren we RevisEval, een nieuw tekstgeneratie-evaluatieparadigma via de respons-aangepaste referenties. RevisEval wordt gedreven door de belangrijke observatie dat een ideale referentie de noodzakelijke relevantie moet behouden ten opzichte van de te beoordelen respons. Concreet maakt RevisEval gebruik van de tekstrevisiemogelijkheden van grote taalmodellen (LLM's) om adaptief de respons te herzien, waarna de herziene tekst wordt behandeld als de referentie (respons-aangepaste referentie) voor de daaropvolgende evaluatie. Uitgebreide experimenten tonen aan dat RevisEval beter presteert dan traditionele referentievrije en op referenties gebaseerde evaluatieparadigma's die LLM-als-rechter gebruiken bij NLG-taken en open instructievolgtaken. Belangrijker nog, onze respons-aangepaste referenties kunnen de klassieke tekstmetrieken, zoals BLEU en BERTScore, verder verbeteren in vergelijking met traditionele referenties en zelfs concurreren met LLM-als-rechter. Er wordt ook een gedetailleerde analyse uitgevoerd om de effectiviteit van RevisEval in biasvermindering, de impact van inferentiekosten en referentierelevantie te bevestigen.

English

With significant efforts in recent studies, LLM-as-a-Judge has become a cost-effective alternative to human evaluation for assessing the text generation quality in a wide range of tasks. However, there still remains a reliability gap between LLM-as-a-Judge and human evaluation. One important reason is the lack of guided oracles in the evaluation process. Motivated by the role of reference pervasively used in classic text evaluation, we introduce RevisEval, a novel text generation evaluation paradigm via the response-adapted references. RevisEval is driven by the key observation that an ideal reference should maintain the necessary relevance to the response to be evaluated. Specifically, RevisEval leverages the text revision capabilities of large language models (LLMs) to adaptively revise the response, then treat the revised text as the reference (response-adapted reference) for the subsequent evaluation. Extensive experiments demonstrate that RevisEval outperforms traditional reference-free and reference-based evaluation paradigms that use LLM-as-a-Judge across NLG tasks and open-ended instruction-following tasks. More importantly, our response-adapted references can further boost the classical text metrics, e.g., BLEU and BERTScore, compared to traditional references and even rival the LLM-as-a-Judge. A detailed analysis is also conducted to confirm RevisEval's effectiveness in bias reduction, the impact of inference cost, and reference relevance.