Ragionamento Comparativo di Gruppo: Sbloccare Valutazioni Complete per LLM-come-Giudice

Crowd Comparative Reasoning: Unlocking Comprehensive Evaluations for LLM-as-a-Judge

February 18, 2025

Autori: Qiyuan Zhang, Yufei Wang, Yuxin Jiang, Liangyou Li, Chuhan Wu, Yasheng Wang, Xin Jiang, Lifeng Shang, Ruiming Tang, Fuyuan Lyu, Chen Ma

cs.AI

Abstract

LLM-as-a-Judge, che genera giudizi basati su catene di ragionamento (CoT), è diventato un metodo di valutazione automatica ampiamente adottato. Tuttavia, la sua affidabilità è compromessa dall'incapacità del ragionamento CoT di catturare dettagli completi e approfonditi, portando spesso a risultati incompleti. I metodi esistenti si basano principalmente sul voto a maggioranza o sull'espansione dei criteri, che sono insufficienti per affrontare le limitazioni del CoT. Proponiamo la Valutazione Comparativa Basata sulla Folla, che introduce risposte aggiuntive della folla da confrontare con le risposte candidate, esponendo così dettagli più profondi e completi all'interno delle risposte candidate. Questo processo guida efficacemente LLM-as-a-Judge a fornire un giudizio CoT più dettagliato. Esperimenti estesi dimostrano che il nostro approccio migliora l'affidabilità della valutazione, ottenendo un guadagno medio di accuratezza del 6,7% su cinque benchmark. Inoltre, il nostro metodo produce CoT di qualità superiore che facilitano la distillazione dei giudici e mostrano prestazioni superiori nel campionamento di rifiuto per il fine-tuning supervisionato (SFT), denominato campionamento di rifiuto della folla, consentendo così un SFT più efficiente. La nostra analisi conferma che i CoT generati dal nostro metodo sono più completi e di qualità superiore, e l'accuratezza della valutazione migliora con l'aumentare delle scale di inferenza.

English

LLM-as-a-Judge, which generates chain-of-thought (CoT) judgments, has become a widely adopted auto-evaluation method. However, its reliability is compromised by the CoT reasoning's inability to capture comprehensive and deeper details, often leading to incomplete outcomes. Existing methods mainly rely on majority voting or criteria expansion, which is insufficient to address the limitation in CoT. We propose Crowd-based Comparative Evaluation, which introduces additional crowd responses to compare with the candidate responses, thereby exposing deeper and more comprehensive details within the candidate responses. This process effectively guides LLM-as-a-Judge to provide a more detailed CoT judgment. Extensive experiments demonstrate that our approach enhances evaluation reliability, achieving an average accuracy gain of 6.7% across five benchmarks. Moreover, our method produces higher-quality CoTs that facilitate judge distillation and exhibit superior performance in rejection sampling for supervised fine-tuning (SFT), referred to as crowd rejection sampling, thereby enabling more efficient SFT. Our analysis confirms that CoTs generated by ours are more comprehensive and of higher quality, and evaluation accuracy improves as inference scales.