Crowd Comparative Reasoning: Umfassende Bewertungen für LLM-as-a-Judge ermöglichen

Crowd Comparative Reasoning: Unlocking Comprehensive Evaluations for LLM-as-a-Judge

February 18, 2025

Autoren: Qiyuan Zhang, Yufei Wang, Yuxin Jiang, Liangyou Li, Chuhan Wu, Yasheng Wang, Xin Jiang, Lifeng Shang, Ruiming Tang, Fuyuan Lyu, Chen Ma

cs.AI

Zusammenfassung

LLM-as-a-Judge, das Chain-of-Thought (CoT)-Urteile generiert, hat sich zu einer weit verbreiteten Methode zur automatischen Bewertung entwickelt. Allerdings wird seine Zuverlässigkeit durch die Unfähigkeit der CoT-Argumentation beeinträchtigt, umfassende und tiefere Details zu erfassen, was oft zu unvollständigen Ergebnissen führt. Bestehende Methoden stützen sich hauptsächlich auf Mehrheitsabstimmungen oder die Erweiterung von Kriterien, was jedoch nicht ausreicht, um die Einschränkungen der CoT zu beheben. Wir schlagen eine Crowd-basierte vergleichende Bewertung vor, die zusätzliche Crowd-Antworten einführt, um sie mit den Kandidatenantworten zu vergleichen und dadurch tiefere und umfassendere Details innerhalb der Kandidatenantworten aufzudecken. Dieser Prozess leitet LLM-as-a-Judge effektiv an, ein detaillierteres CoT-Urteil abzugeben. Umfangreiche Experimente zeigen, dass unser Ansatz die Bewertungszuverlässigkeit verbessert und einen durchschnittlichen Genauigkeitsgewinn von 6,7 % über fünf Benchmarks hinweg erzielt. Darüber hinaus erzeugt unsere Methode qualitativ hochwertigere CoTs, die die Urteilsdestillation erleichtern und eine überlegene Leistung bei der Ablehnungsstichprobe für überwachtes Fein-Tuning (SFT), bezeichnet als Crowd-Ablehnungsstichprobe, zeigen, wodurch ein effizienteres SFT ermöglicht wird. Unsere Analyse bestätigt, dass die von uns generierten CoTs umfassender und von höherer Qualität sind und dass die Bewertungsgenauigkeit mit zunehmenden Inferenzskalen steigt.

English

LLM-as-a-Judge, which generates chain-of-thought (CoT) judgments, has become a widely adopted auto-evaluation method. However, its reliability is compromised by the CoT reasoning's inability to capture comprehensive and deeper details, often leading to incomplete outcomes. Existing methods mainly rely on majority voting or criteria expansion, which is insufficient to address the limitation in CoT. We propose Crowd-based Comparative Evaluation, which introduces additional crowd responses to compare with the candidate responses, thereby exposing deeper and more comprehensive details within the candidate responses. This process effectively guides LLM-as-a-Judge to provide a more detailed CoT judgment. Extensive experiments demonstrate that our approach enhances evaluation reliability, achieving an average accuracy gain of 6.7% across five benchmarks. Moreover, our method produces higher-quality CoTs that facilitate judge distillation and exhibit superior performance in rejection sampling for supervised fine-tuning (SFT), referred to as crowd rejection sampling, thereby enabling more efficient SFT. Our analysis confirms that CoTs generated by ours are more comprehensive and of higher quality, and evaluation accuracy improves as inference scales.