RevisEval: Verbesserung von LLM-als-Richter durch anpassbare Referenzen für Antworten

RevisEval: Improving LLM-as-a-Judge via Response-Adapted References

October 7, 2024

Autoren: Qiyuan Zhang, Yufei Wang, Tiezheng YU, Yuxin Jiang, Chuhan Wu, Liangyou Li, Yasheng Wang, Xin Jiang, Lifeng Shang, Ruiming Tang, Fuyuan Lyu, Chen Ma

cs.AI

Zusammenfassung

Durch bedeutende Anstrengungen in jüngsten Studien hat sich LLM-als-Richter als kostengünstige Alternative zur menschlichen Bewertung zur Beurteilung der Textgenerierungsqualität in einer Vielzahl von Aufgaben etabliert. Es besteht jedoch immer noch eine Zuverlässigkeitslücke zwischen LLM-als-Richter und menschlicher Bewertung. Ein wichtiger Grund dafür ist das Fehlen von geleiteten Orakeln im Bewertungsprozess. Inspiriert von der Rolle des Referenzmaterials, das in der klassischen Textbewertung weit verbreitet ist, führen wir RevisEval ein, ein neuartiges Bewertungsparadigma für die Textgenerierung über die an die Antwort angepassten Referenzen. RevisEval basiert auf der Schlüsselbeobachtung, dass eine ideale Referenz die notwendige Relevanz zur zu bewertenden Antwort aufrechterhalten sollte. Konkret nutzt RevisEval die Textüberarbeitungsfähigkeiten großer Sprachmodelle (LLMs), um die Antwort adaptiv zu überarbeiten und behandelt den überarbeiteten Text dann als Referenz (antwortangepasste Referenz) für die nachfolgende Bewertung. Umfangreiche Experimente zeigen, dass RevisEval herkömmliche referenzfreie und referenzbasierte Bewertungsparadigmen, die LLM-als-Richter verwenden, in NLG-Aufgaben und offenen Anweisungsfolge-Aufgaben übertrifft. Noch wichtiger ist, dass unsere an die Antwort angepassten Referenzen die klassischen Textmetriken wie BLEU und BERTScore im Vergleich zu herkömmlichen Referenzen weiter verbessern können und sogar mit LLM-als-Richter konkurrieren können. Eine detaillierte Analyse wird auch durchgeführt, um die Wirksamkeit von RevisEval bei der Reduzierung von Bias, den Einfluss der Inferenzkosten und die Relevanz der Referenzen zu bestätigen.

English

With significant efforts in recent studies, LLM-as-a-Judge has become a cost-effective alternative to human evaluation for assessing the text generation quality in a wide range of tasks. However, there still remains a reliability gap between LLM-as-a-Judge and human evaluation. One important reason is the lack of guided oracles in the evaluation process. Motivated by the role of reference pervasively used in classic text evaluation, we introduce RevisEval, a novel text generation evaluation paradigm via the response-adapted references. RevisEval is driven by the key observation that an ideal reference should maintain the necessary relevance to the response to be evaluated. Specifically, RevisEval leverages the text revision capabilities of large language models (LLMs) to adaptively revise the response, then treat the revised text as the reference (response-adapted reference) for the subsequent evaluation. Extensive experiments demonstrate that RevisEval outperforms traditional reference-free and reference-based evaluation paradigms that use LLM-as-a-Judge across NLG tasks and open-ended instruction-following tasks. More importantly, our response-adapted references can further boost the classical text metrics, e.g., BLEU and BERTScore, compared to traditional references and even rival the LLM-as-a-Judge. A detailed analysis is also conducted to confirm RevisEval's effectiveness in bias reduction, the impact of inference cost, and reference relevance.