RevisEval: Migliorare LLM-come-Giudice tramite Riferimenti Adattati alla Risposta

RevisEval: Improving LLM-as-a-Judge via Response-Adapted References

October 7, 2024

Autori: Qiyuan Zhang, Yufei Wang, Tiezheng YU, Yuxin Jiang, Chuhan Wu, Liangyou Li, Yasheng Wang, Xin Jiang, Lifeng Shang, Ruiming Tang, Fuyuan Lyu, Chen Ma

cs.AI

Abstract

Con significativi sforzi negli studi recenti, LLM-come-Giudice è diventato un'alternativa economica alla valutazione umana per valutare la qualità della generazione di testo in una vasta gamma di compiti. Tuttavia, rimane ancora un divario di affidabilità tra LLM-come-Giudice e la valutazione umana. Una ragione importante è la mancanza di oracoli guidati nel processo di valutazione. Motivati dal ruolo del riferimento ampiamente utilizzato nella valutazione classica del testo, introduciamo RevisEval, un nuovo paradigma di valutazione della generazione di testo tramite i riferimenti adattati alla risposta. RevisEval è guidato dall'osservazione chiave che un riferimento ideale dovrebbe mantenere la necessaria rilevanza rispetto alla risposta da valutare. In particolare, RevisEval sfrutta le capacità di revisione del testo dei grandi modelli linguistici (LLM) per revisionare in modo adattivo la risposta, trattando poi il testo revisionato come il riferimento (riferimento adattato alla risposta) per la valutazione successiva. Estesi esperimenti dimostrano che RevisEval supera i paradigmi tradizionali di valutazione senza riferimento e basati su riferimenti che utilizzano LLM-come-Giudice in una vasta gamma di compiti di generazione di linguaggio naturale e compiti di seguire istruzioni aperte. Inoltre, i nostri riferimenti adattati alla risposta possono potenziare ulteriormente le metriche di testo classiche, ad esempio BLEU e BERTScore, rispetto ai riferimenti tradizionali e persino competere con LLM-come-Giudice. È stata condotta anche un'analisi dettagliata per confermare l'efficacia di RevisEval nella riduzione del bias, l'impatto del costo inferenziale e la rilevanza del riferimento.

English

With significant efforts in recent studies, LLM-as-a-Judge has become a cost-effective alternative to human evaluation for assessing the text generation quality in a wide range of tasks. However, there still remains a reliability gap between LLM-as-a-Judge and human evaluation. One important reason is the lack of guided oracles in the evaluation process. Motivated by the role of reference pervasively used in classic text evaluation, we introduce RevisEval, a novel text generation evaluation paradigm via the response-adapted references. RevisEval is driven by the key observation that an ideal reference should maintain the necessary relevance to the response to be evaluated. Specifically, RevisEval leverages the text revision capabilities of large language models (LLMs) to adaptively revise the response, then treat the revised text as the reference (response-adapted reference) for the subsequent evaluation. Extensive experiments demonstrate that RevisEval outperforms traditional reference-free and reference-based evaluation paradigms that use LLM-as-a-Judge across NLG tasks and open-ended instruction-following tasks. More importantly, our response-adapted references can further boost the classical text metrics, e.g., BLEU and BERTScore, compared to traditional references and even rival the LLM-as-a-Judge. A detailed analysis is also conducted to confirm RevisEval's effectiveness in bias reduction, the impact of inference cost, and reference relevance.