Lernen eines effizienten Multi-Turn-Dialog-Evaluators von mehreren Bewertern

Learning an Efficient Multi-Turn Dialogue Evaluator from Multiple Judges

August 1, 2025

papers.authors: Yuqi Tang, Kehua Feng, Yunfeng Wang, Zhiwen Chen, Chengfei Lv, Gang Yu, Qiang Zhang, Keyan Ding

cs.AI

papers.abstract

Die Bewertung der Konversationsfähigkeiten von großen Sprachmodellen (LLMs) bleibt eine anspruchsvolle Aufgabe. Aktuelle Mainstream-Ansätze stützen sich hauptsächlich auf das „LLM-as-a-judge“-Paradigma, bei dem ein LLM als Bewerter eingesetzt wird, um die Dialogqualität zu beurteilen. Solche Methoden leiden jedoch oft unter verschiedenen Verzerrungen, die die Zuverlässigkeit und Konsistenz der Bewertungsergebnisse beeinträchtigen. Um diese Verzerrungen zu mildern, setzen neuere Methoden mehrere LLMs als Bewerter ein und aggregieren deren Urteile, um die optimale Bewertung auszuwählen. Obwohl effektiv, verursacht dieser Multi-Judge-Ansatz erheblichen Rechenaufwand während der Inferenz. In diesem Artikel schlagen wir einen effizienten Multi-Turn-Dialogbewerter vor, der das kollektive Wissen mehrerer LLM-Bewerter erfasst, indem er deren Präferenzwissen in einem einzigen Modell zusammenführt. Unser Ansatz bewahrt die Vorteile diverser Multi-Judge-Rückmeldungen, während er die Bewertungskosten drastisch reduziert und eine schnelle und flexible Bewertung der Dialogqualität ermöglicht. Umfangreiche Experimente auf sieben Bewertungsbenchmarks für Einzelbewertungen und paarweise Vergleiche von Dialogen zeigen, dass unsere Methode bestehende Baselines in verschiedenen Szenarien übertrifft und ihre Effizienz und Robustheit unter Beweis stellt.

English

Evaluating the conversational abilities of large language models (LLMs) remains a challenging task. Current mainstream approaches primarily rely on the ``LLM-as-a-judge" paradigm, where an LLM is prompted to serve as an evaluator to assess dialogue quality. However, such methods often suffer from various biases, which undermine the reliability and consistency of the evaluation results. To mitigate these biases, recent methods employ multiple LLMs as judges and aggregate their judgments to select the optimal assessment. Although effective, this multi-judge approach incurs significant computational overhead during inference. In this paper, we propose an efficient multi-turn dialogue evaluator that captures the collective wisdom of multiple LLM judges by aggregating their preference knowledge into a single model. Our approach preserves the advantages of diverse multi-judge feedback while drastically reducing the evaluation cost, enabling fast and flexible dialogue quality assessment. Extensive experiments on seven single rating and pairwise comparison dialogue evaluation benchmarks demonstrate that our method outperforms existing baselines across diverse scenarios, showcasing its efficiency and robustness.