Обучение эффективного многозадачного диалогового оценщика на основе мнений нескольких экспертов

Learning an Efficient Multi-Turn Dialogue Evaluator from Multiple Judges

August 1, 2025

Авторы: Yuqi Tang, Kehua Feng, Yunfeng Wang, Zhiwen Chen, Chengfei Lv, Gang Yu, Qiang Zhang, Keyan Ding

cs.AI

Аннотация

Оценка способностей крупных языковых моделей (LLM) к ведению диалогов остается сложной задачей. Современные основные подходы в значительной степени опираются на парадигму «LLM-как-оценщик», где LLM используется в качестве инструмента для оценки качества диалога. Однако такие методы часто страдают от различных предубеждений, что подрывает надежность и согласованность результатов оценки. Для смягчения этих предубеждений в последних методах применяются несколько LLM в качестве оценщиков, и их суждения агрегируются для выбора оптимальной оценки. Хотя этот подход с несколькими оценщиками эффективен, он требует значительных вычислительных затрат в процессе вывода. В данной статье мы предлагаем эффективный многопроходный диалоговый оценщик, который фиксирует коллективную мудрость нескольких LLM-оценщиков, агрегируя их предпочтения в единую модель. Наш подход сохраняет преимущества разнообразной обратной связи от нескольких оценщиков, при этом значительно снижая затраты на оценку, что позволяет быстро и гибко оценивать качество диалога. Многочисленные эксперименты на семи эталонных тестах для оценки диалогов, включающих как одиночные рейтинги, так и попарные сравнения, демонстрируют, что наш метод превосходит существующие базовые подходы в различных сценариях, подтверждая его эффективность и устойчивость.

English

Evaluating the conversational abilities of large language models (LLMs) remains a challenging task. Current mainstream approaches primarily rely on the ``LLM-as-a-judge" paradigm, where an LLM is prompted to serve as an evaluator to assess dialogue quality. However, such methods often suffer from various biases, which undermine the reliability and consistency of the evaluation results. To mitigate these biases, recent methods employ multiple LLMs as judges and aggregate their judgments to select the optimal assessment. Although effective, this multi-judge approach incurs significant computational overhead during inference. In this paper, we propose an efficient multi-turn dialogue evaluator that captures the collective wisdom of multiple LLM judges by aggregating their preference knowledge into a single model. Our approach preserves the advantages of diverse multi-judge feedback while drastically reducing the evaluation cost, enabling fast and flexible dialogue quality assessment. Extensive experiments on seven single rating and pairwise comparison dialogue evaluation benchmarks demonstrate that our method outperforms existing baselines across diverse scenarios, showcasing its efficiency and robustness.