Apprentissage d'un évaluateur de dialogue multi-tours efficace à partir de jugements multiples

Learning an Efficient Multi-Turn Dialogue Evaluator from Multiple Judges

August 1, 2025

papers.authors: Yuqi Tang, Kehua Feng, Yunfeng Wang, Zhiwen Chen, Chengfei Lv, Gang Yu, Qiang Zhang, Keyan Ding

cs.AI

papers.abstract

L'évaluation des capacités conversationnelles des modèles de langage de grande taille (LLMs) demeure une tâche complexe. Les approches actuelles dominantes reposent principalement sur le paradigme « LLM-comme-juge », où un LLM est sollicité pour servir d'évaluateur afin de juger la qualité des dialogues. Cependant, ces méthodes souffrent souvent de divers biais, ce qui compromet la fiabilité et la cohérence des résultats d'évaluation. Pour atténuer ces biais, des méthodes récentes emploient plusieurs LLMs comme juges et agrègent leurs jugements pour sélectionner l'évaluation optimale. Bien qu'efficace, cette approche multi-juges entraîne un coût computationnel significatif lors de l'inférence. Dans cet article, nous proposons un évaluateur de dialogues multi-tours efficace qui capture la sagesse collective de plusieurs juges LLMs en agrégeant leurs connaissances de préférence dans un modèle unique. Notre approche préserve les avantages des retours diversifiés de plusieurs juges tout en réduisant considérablement le coût de l'évaluation, permettant une évaluation rapide et flexible de la qualité des dialogues. Des expériences approfondies sur sept benchmarks d'évaluation de dialogues, incluant des notations uniques et des comparaisons par paires, démontrent que notre méthode surpasse les approches existantes dans divers scénarios, mettant en évidence son efficacité et sa robustesse.

English

Evaluating the conversational abilities of large language models (LLMs) remains a challenging task. Current mainstream approaches primarily rely on the ``LLM-as-a-judge" paradigm, where an LLM is prompted to serve as an evaluator to assess dialogue quality. However, such methods often suffer from various biases, which undermine the reliability and consistency of the evaluation results. To mitigate these biases, recent methods employ multiple LLMs as judges and aggregate their judgments to select the optimal assessment. Although effective, this multi-judge approach incurs significant computational overhead during inference. In this paper, we propose an efficient multi-turn dialogue evaluator that captures the collective wisdom of multiple LLM judges by aggregating their preference knowledge into a single model. Our approach preserves the advantages of diverse multi-judge feedback while drastically reducing the evaluation cost, enabling fast and flexible dialogue quality assessment. Extensive experiments on seven single rating and pairwise comparison dialogue evaluation benchmarks demonstrate that our method outperforms existing baselines across diverse scenarios, showcasing its efficiency and robustness.