RevisEval: Улучшение LLM-как-судья через адаптированные к ответу ссылки

RevisEval: Improving LLM-as-a-Judge via Response-Adapted References

October 7, 2024

Авторы: Qiyuan Zhang, Yufei Wang, Tiezheng YU, Yuxin Jiang, Chuhan Wu, Liangyou Li, Yasheng Wang, Xin Jiang, Lifeng Shang, Ruiming Tang, Fuyuan Lyu, Chen Ma

cs.AI

Аннотация

С существенными усилиями в последних исследованиях LLM-как-Судья стал экономически эффективной альтернативой человеческой оценке для оценки качества генерации текста в широком спектре задач. Однако все еще существует надежностный разрыв между LLM-как-Судья и человеческой оценкой. Одной из важных причин является отсутствие направляющих оракулов в процессе оценки. Вдохновленные ролью ссылки, широко используемой в классической оценке текста, мы представляем RevisEval, новую парадигму оценки генерации текста через адаптированные к ответу ссылки. RevisEval основан на ключевом наблюдении, что идеальная ссылка должна поддерживать необходимую связь с ответом, который должен быть оценен. Конкретно, RevisEval использует возможности редактирования текста больших языковых моделей (LLM) для адаптивного пересмотра ответа, затем рассматривает отредактированный текст как ссылку (адаптированную к ответу), для последующей оценки. Обширные эксперименты демонстрируют, что RevisEval превосходит традиционные парадигмы оценки без ссылок и с ссылками, использующие LLM-как-Судью, в различных задачах генерации естественного языка и задачах выполнения инструкций. Более того, наши адаптированные к ответу ссылки могут дополнительно улучшить классические текстовые метрики, такие как BLEU и BERTScore, по сравнению с традиционными ссылками и даже конкурировать с LLM-как-Судьей. Также проведен детальный анализ для подтверждения эффективности RevisEval в снижении предвзятости, влиянии стоимости вывода и соответствии ссылок.

English

With significant efforts in recent studies, LLM-as-a-Judge has become a cost-effective alternative to human evaluation for assessing the text generation quality in a wide range of tasks. However, there still remains a reliability gap between LLM-as-a-Judge and human evaluation. One important reason is the lack of guided oracles in the evaluation process. Motivated by the role of reference pervasively used in classic text evaluation, we introduce RevisEval, a novel text generation evaluation paradigm via the response-adapted references. RevisEval is driven by the key observation that an ideal reference should maintain the necessary relevance to the response to be evaluated. Specifically, RevisEval leverages the text revision capabilities of large language models (LLMs) to adaptively revise the response, then treat the revised text as the reference (response-adapted reference) for the subsequent evaluation. Extensive experiments demonstrate that RevisEval outperforms traditional reference-free and reference-based evaluation paradigms that use LLM-as-a-Judge across NLG tasks and open-ended instruction-following tasks. More importantly, our response-adapted references can further boost the classical text metrics, e.g., BLEU and BERTScore, compared to traditional references and even rival the LLM-as-a-Judge. A detailed analysis is also conducted to confirm RevisEval's effectiveness in bias reduction, the impact of inference cost, and reference relevance.