Коллективное сравнительное рассуждение: раскрытие комплексных оценок для модели "LLM-как-судья"

Crowd Comparative Reasoning: Unlocking Comprehensive Evaluations for LLM-as-a-Judge

February 18, 2025

Авторы: Qiyuan Zhang, Yufei Wang, Yuxin Jiang, Liangyou Li, Chuhan Wu, Yasheng Wang, Xin Jiang, Lifeng Shang, Ruiming Tang, Fuyuan Lyu, Chen Ma

cs.AI

Аннотация

LLM-as-a-Judge, генерирующий суждения с использованием цепочки рассуждений (CoT), стал широко применяемым методом автоматической оценки. Однако его надежность снижается из-за неспособности CoT-рассуждений охватить всесторонние и глубокие детали, что часто приводит к неполным результатам. Существующие методы в основном полагаются на мажоритарное голосование или расширение критериев, что недостаточно для устранения ограничений CoT. Мы предлагаем метод коллективной сравнительной оценки, который вводит дополнительные коллективные ответы для сравнения с кандидатскими, тем самым выявляя более глубокие и всесторонние детали в кандидатских ответах. Этот процесс эффективно направляет LLM-as-a-Judge на предоставление более детализированного CoT-суждения. Многочисленные эксперименты демонстрируют, что наш подход повышает надежность оценки, достигая среднего прироста точности на 6,7% по пяти тестовым наборам. Более того, наш метод создает CoT более высокого качества, что способствует дистилляции суждений и демонстрирует превосходную производительность при отборе образцов для контролируемого тонкого обучения (SFT), называемого коллективным отбором образцов, тем самым обеспечивая более эффективное SFT. Наш анализ подтверждает, что CoT, генерируемые нашим методом, более всесторонние и качественные, а точность оценки улучшается с увеличением масштаба вывода.

English

LLM-as-a-Judge, which generates chain-of-thought (CoT) judgments, has become a widely adopted auto-evaluation method. However, its reliability is compromised by the CoT reasoning's inability to capture comprehensive and deeper details, often leading to incomplete outcomes. Existing methods mainly rely on majority voting or criteria expansion, which is insufficient to address the limitation in CoT. We propose Crowd-based Comparative Evaluation, which introduces additional crowd responses to compare with the candidate responses, thereby exposing deeper and more comprehensive details within the candidate responses. This process effectively guides LLM-as-a-Judge to provide a more detailed CoT judgment. Extensive experiments demonstrate that our approach enhances evaluation reliability, achieving an average accuracy gain of 6.7% across five benchmarks. Moreover, our method produces higher-quality CoTs that facilitate judge distillation and exhibit superior performance in rejection sampling for supervised fine-tuning (SFT), referred to as crowd rejection sampling, thereby enabling more efficient SFT. Our analysis confirms that CoTs generated by ours are more comprehensive and of higher quality, and evaluation accuracy improves as inference scales.