Raisonnement comparatif par la foule : Débloquer des évaluations exhaustives pour les LLM en tant qu'évaluateurs

Crowd Comparative Reasoning: Unlocking Comprehensive Evaluations for LLM-as-a-Judge

February 18, 2025

Auteurs: Qiyuan Zhang, Yufei Wang, Yuxin Jiang, Liangyou Li, Chuhan Wu, Yasheng Wang, Xin Jiang, Lifeng Shang, Ruiming Tang, Fuyuan Lyu, Chen Ma

cs.AI

Résumé

LLM-as-a-Judge, qui génère des jugements en chaîne de raisonnement (CoT), est devenu une méthode d'auto-évaluation largement adoptée. Cependant, sa fiabilité est compromise par l'incapacité du raisonnement CoT à capturer des détails complets et approfondis, conduisant souvent à des résultats incomplets. Les méthodes existantes reposent principalement sur le vote majoritaire ou l'expansion des critères, ce qui est insuffisant pour pallier les limites du CoT. Nous proposons l'Évaluation Comparative Basée sur la Foule, qui introduit des réponses supplémentaires provenant de la foule pour les comparer aux réponses candidates, exposant ainsi des détails plus profonds et plus complets dans les réponses candidates. Ce processus guide efficacement LLM-as-a-Judge pour fournir un jugement CoT plus détaillé. Des expériences approfondies démontrent que notre approche améliore la fiabilité de l'évaluation, obtenant un gain de précision moyen de 6,7 % sur cinq benchmarks. De plus, notre méthode produit des CoT de meilleure qualité qui facilitent la distillation des juges et montrent une performance supérieure dans l'échantillonnage par rejet pour le fine-tuning supervisé (SFT), appelé échantillonnage par rejet de foule, permettant ainsi un SFT plus efficace. Notre analyse confirme que les CoT générés par notre méthode sont plus complets et de meilleure qualité, et que la précision de l'évaluation s'améliore avec l'augmentation des échelles d'inférence.

English

LLM-as-a-Judge, which generates chain-of-thought (CoT) judgments, has become a widely adopted auto-evaluation method. However, its reliability is compromised by the CoT reasoning's inability to capture comprehensive and deeper details, often leading to incomplete outcomes. Existing methods mainly rely on majority voting or criteria expansion, which is insufficient to address the limitation in CoT. We propose Crowd-based Comparative Evaluation, which introduces additional crowd responses to compare with the candidate responses, thereby exposing deeper and more comprehensive details within the candidate responses. This process effectively guides LLM-as-a-Judge to provide a more detailed CoT judgment. Extensive experiments demonstrate that our approach enhances evaluation reliability, achieving an average accuracy gain of 6.7% across five benchmarks. Moreover, our method produces higher-quality CoTs that facilitate judge distillation and exhibit superior performance in rejection sampling for supervised fine-tuning (SFT), referred to as crowd rejection sampling, thereby enabling more efficient SFT. Our analysis confirms that CoTs generated by ours are more comprehensive and of higher quality, and evaluation accuracy improves as inference scales.