Raciocínio Comparativo Coletivo: Desbloqueando Avaliações Abrangentes para Modelos de Linguagem como Juízes

Crowd Comparative Reasoning: Unlocking Comprehensive Evaluations for LLM-as-a-Judge

February 18, 2025

Autores: Qiyuan Zhang, Yufei Wang, Yuxin Jiang, Liangyou Li, Chuhan Wu, Yasheng Wang, Xin Jiang, Lifeng Shang, Ruiming Tang, Fuyuan Lyu, Chen Ma

cs.AI

Resumo

O LLM-as-a-Judge, que gera julgamentos em cadeia de pensamento (CoT), tornou-se um método de avaliação automática amplamente adotado. No entanto, sua confiabilidade é comprometida pela incapacidade do raciocínio CoT de capturar detalhes abrangentes e mais profundos, frequentemente resultando em conclusões incompletas. Os métodos existentes dependem principalmente de votação majoritária ou expansão de critérios, o que é insuficiente para superar a limitação do CoT. Propomos a Avaliação Comparativa Baseada em Multidão, que introduz respostas adicionais da multidão para comparar com as respostas candidatas, expondo assim detalhes mais profundos e abrangentes nas respostas candidatas. Esse processo orienta efetivamente o LLM-as-a-Judge a fornecer um julgamento CoT mais detalhado. Experimentos extensivos demonstram que nossa abordagem aumenta a confiabilidade da avaliação, alcançando um ganho médio de precisão de 6,7% em cinco benchmarks. Além disso, nosso método produz CoTs de maior qualidade que facilitam a destilação de julgamentos e exibem desempenho superior na amostragem de rejeição para ajuste fino supervisionado (SFT), denominada amostragem de rejeição por multidão, permitindo assim um SFT mais eficiente. Nossa análise confirma que os CoTs gerados por nosso método são mais abrangentes e de maior qualidade, e a precisão da avaliação melhora conforme as escalas de inferência aumentam.

English

LLM-as-a-Judge, which generates chain-of-thought (CoT) judgments, has become a widely adopted auto-evaluation method. However, its reliability is compromised by the CoT reasoning's inability to capture comprehensive and deeper details, often leading to incomplete outcomes. Existing methods mainly rely on majority voting or criteria expansion, which is insufficient to address the limitation in CoT. We propose Crowd-based Comparative Evaluation, which introduces additional crowd responses to compare with the candidate responses, thereby exposing deeper and more comprehensive details within the candidate responses. This process effectively guides LLM-as-a-Judge to provide a more detailed CoT judgment. Extensive experiments demonstrate that our approach enhances evaluation reliability, achieving an average accuracy gain of 6.7% across five benchmarks. Moreover, our method produces higher-quality CoTs that facilitate judge distillation and exhibit superior performance in rejection sampling for supervised fine-tuning (SFT), referred to as crowd rejection sampling, thereby enabling more efficient SFT. Our analysis confirms that CoTs generated by ours are more comprehensive and of higher quality, and evaluation accuracy improves as inference scales.