RevisEval: 応答適応参照を通じたLLM裁判官の改善

RevisEval: Improving LLM-as-a-Judge via Response-Adapted References

October 7, 2024

著者: Qiyuan Zhang, Yufei Wang, Tiezheng YU, Yuxin Jiang, Chuhan Wu, Liangyou Li, Yasheng Wang, Xin Jiang, Lifeng Shang, Ruiming Tang, Fuyuan Lyu, Chen Ma

cs.AI

要旨

最近の研究で大きな努力が払われ、LLM-as-a-Judgeは、広範囲のタスクでテキスト生成の品質を評価するための人間の評価に対する費用対効果の高い代替手段となってきました。しかし、LLM-as-a-Judgeと人間の評価との信頼性のギャップは依然として残っています。その重要な理由の1つは、評価プロセスにおけるガイド付きのオラクルの欠如です。古典的なテキスト評価で広く使用されているリファレンスの役割に触発され、私たちはRevisEvalを導入します。これは、応答に適応したリファレンスを介した新しいテキスト生成評価パラダイムです。RevisEvalは、理想的なリファレンスは評価される応答との必要な関連性を維持すべきであるという重要な観察に基づいています。具体的には、RevisEvalは大規模言語モデル（LLMs）のテキスト修正能力を活用して応答を適応的に修正し、その修正されたテキストを次の評価のためのリファレンス（応答に適応したリファレンス）として扱います。幅広い実験により、RevisEvalがNLGタスクやオープンエンドの命令遵守タスクで、LLM-as-a-Judgeを使用する従来のリファレンスフリーおよびリファレンスベースの評価パラダイムを上回ることが示されました。さらに、私たちの応答に適応したリファレンスは、従来のリファレンスよりも古典的なテキストメトリクス（例：BLEUおよびBERTScore）をさらに向上させ、さらにLLM-as-a-Judgeに匹敵します。バイアスの低減、推論コストの影響、およびリファレンスの関連性におけるRevisEvalの有効性を確認するための詳細な分析も実施されました。

English

With significant efforts in recent studies, LLM-as-a-Judge has become a cost-effective alternative to human evaluation for assessing the text generation quality in a wide range of tasks. However, there still remains a reliability gap between LLM-as-a-Judge and human evaluation. One important reason is the lack of guided oracles in the evaluation process. Motivated by the role of reference pervasively used in classic text evaluation, we introduce RevisEval, a novel text generation evaluation paradigm via the response-adapted references. RevisEval is driven by the key observation that an ideal reference should maintain the necessary relevance to the response to be evaluated. Specifically, RevisEval leverages the text revision capabilities of large language models (LLMs) to adaptively revise the response, then treat the revised text as the reference (response-adapted reference) for the subsequent evaluation. Extensive experiments demonstrate that RevisEval outperforms traditional reference-free and reference-based evaluation paradigms that use LLM-as-a-Judge across NLG tasks and open-ended instruction-following tasks. More importantly, our response-adapted references can further boost the classical text metrics, e.g., BLEU and BERTScore, compared to traditional references and even rival the LLM-as-a-Judge. A detailed analysis is also conducted to confirm RevisEval's effectiveness in bias reduction, the impact of inference cost, and reference relevance.