Crowd Comparative Reasoning: Het Ontgrendelen van Uitgebreide Evaluaties voor LLM-als-Rechter

Crowd Comparative Reasoning: Unlocking Comprehensive Evaluations for LLM-as-a-Judge

February 18, 2025

Auteurs: Qiyuan Zhang, Yufei Wang, Yuxin Jiang, Liangyou Li, Chuhan Wu, Yasheng Wang, Xin Jiang, Lifeng Shang, Ruiming Tang, Fuyuan Lyu, Chen Ma

cs.AI

Samenvatting

LLM-as-a-Judge, dat keten-van-gedachte (CoT) oordelen genereert, is een veelgebruikte methode voor automatische evaluatie geworden. De betrouwbaarheid ervan wordt echter aangetast doordat de CoT-redenering niet in staat is om uitgebreide en diepere details vast te leggen, wat vaak leidt tot onvolledige resultaten. Bestaande methoden zijn voornamelijk gebaseerd op meerderheidsstemming of criteria-uitbreiding, wat onvoldoende is om de beperkingen van CoT aan te pakken. Wij stellen Crowd-based Comparative Evaluation voor, waarbij aanvullende crowdreacties worden geïntroduceerd om te vergelijken met de kandidaatreacties, waardoor diepere en meer uitgebreide details binnen de kandidaatreacties worden blootgelegd. Dit proces leidt LLM-as-a-Judge effectief naar een gedetailleerder CoT-oordeel. Uitgebreide experimenten tonen aan dat onze aanpak de betrouwbaarheid van de evaluatie verbetert, met een gemiddelde nauwkeurigheidswinst van 6,7% over vijf benchmarks. Bovendien produceert onze methode CoTs van hogere kwaliteit die judge-distillatie vergemakkelijken en superieure prestaties vertonen bij rejection sampling voor supervised fine-tuning (SFT), ook wel crowd rejection sampling genoemd, waardoor efficiëntere SFT mogelijk wordt. Onze analyse bevestigt dat de door ons gegenereerde CoTs uitgebreider en van hogere kwaliteit zijn, en dat de evaluatienauwkeurigheid verbetert naarmate de inferentieschaal toeneemt.

English

LLM-as-a-Judge, which generates chain-of-thought (CoT) judgments, has become a widely adopted auto-evaluation method. However, its reliability is compromised by the CoT reasoning's inability to capture comprehensive and deeper details, often leading to incomplete outcomes. Existing methods mainly rely on majority voting or criteria expansion, which is insufficient to address the limitation in CoT. We propose Crowd-based Comparative Evaluation, which introduces additional crowd responses to compare with the candidate responses, thereby exposing deeper and more comprehensive details within the candidate responses. This process effectively guides LLM-as-a-Judge to provide a more detailed CoT judgment. Extensive experiments demonstrate that our approach enhances evaluation reliability, achieving an average accuracy gain of 6.7% across five benchmarks. Moreover, our method produces higher-quality CoTs that facilitate judge distillation and exhibit superior performance in rejection sampling for supervised fine-tuning (SFT), referred to as crowd rejection sampling, thereby enabling more efficient SFT. Our analysis confirms that CoTs generated by ours are more comprehensive and of higher quality, and evaluation accuracy improves as inference scales.