Apprendimento di un Valutatore Efficiente per Dialoghi Multi-Turn da Giudici Multipli

Learning an Efficient Multi-Turn Dialogue Evaluator from Multiple Judges

August 1, 2025

Autori: Yuqi Tang, Kehua Feng, Yunfeng Wang, Zhiwen Chen, Chengfei Lv, Gang Yu, Qiang Zhang, Keyan Ding

cs.AI

Abstract

Valutare le capacità conversazionali dei grandi modelli linguistici (LLM) rimane un compito impegnativo. Gli approcci attuali si basano principalmente sul paradigma "LLM-as-a-judge", in cui un LLM viene sollecitato a fungere da valutatore per giudicare la qualità del dialogo. Tuttavia, tali metodi spesso soffrono di vari bias, che minano l'affidabilità e la coerenza dei risultati della valutazione. Per mitigare questi bias, i metodi recenti impiegano più LLM come giudici e aggregano i loro giudizi per selezionare la valutazione ottimale. Sebbene efficace, questo approccio multi-giudice comporta un significativo sovraccarico computazionale durante l'inferenza. In questo articolo, proponiamo un valutatore efficiente per dialoghi multi-turn che cattura la saggezza collettiva di più giudici LLM aggregando le loro conoscenze di preferenza in un unico modello. Il nostro approccio preserva i vantaggi del feedback diversificato di più giudici riducendo drasticamente il costo della valutazione, consentendo una valutazione rapida e flessibile della qualità del dialogo. Esperimenti estesi su sette benchmark di valutazione del dialogo, sia con rating singolo che con confronti a coppie, dimostrano che il nostro metodo supera le baseline esistenti in diversi scenari, mostrando la sua efficienza e robustezza.

English

Evaluating the conversational abilities of large language models (LLMs) remains a challenging task. Current mainstream approaches primarily rely on the ``LLM-as-a-judge" paradigm, where an LLM is prompted to serve as an evaluator to assess dialogue quality. However, such methods often suffer from various biases, which undermine the reliability and consistency of the evaluation results. To mitigate these biases, recent methods employ multiple LLMs as judges and aggregate their judgments to select the optimal assessment. Although effective, this multi-judge approach incurs significant computational overhead during inference. In this paper, we propose an efficient multi-turn dialogue evaluator that captures the collective wisdom of multiple LLM judges by aggregating their preference knowledge into a single model. Our approach preserves the advantages of diverse multi-judge feedback while drastically reducing the evaluation cost, enabling fast and flexible dialogue quality assessment. Extensive experiments on seven single rating and pairwise comparison dialogue evaluation benchmarks demonstrate that our method outperforms existing baselines across diverse scenarios, showcasing its efficiency and robustness.