RankJudge: Um Gerador de Benchmark Sintético Multiturno com LLM como Juiz

Resumo

À medida que aplicações interativas baseadas em modelos de linguagem de grande escala (LLMs) são criadas e refinadas, os desenvolvedores de modelos precisam avaliar a qualidade do texto gerado ao longo de vários eixos possíveis. Para sistemas mais simples, a avaliação humana pode ser prática, mas em sistemas complexos, como chatbots conversacionais, a quantidade de texto gerado pode sobrecarregar os recursos de anotação humana. Desenvolvedores de modelos passaram a depender fortemente da autoavaliação, em que LLMs também são usados para julgar a qualidade da geração. No entanto, os benchmarks existentes de LLM como juiz concentram-se amplamente em tarefas simples de perguntas e respostas que não correspondem à complexidade das conversas de múltiplas rodadas. Apresentamos o RankJudge, um gerador de benchmarks para avaliar o LLM como juiz em conversas de múltiplas rodadas fundamentadas em documentos de referência. O RankJudge cria pares de conversas nos quais uma conversa possui uma única falha injetada em uma rodada. Essa construção permite que os pares de conversas sejam rotulados de forma inequívoca como melhores ou piores, e isola precisamente as categorias de falha em rodadas individuais, possibilitando um critério rigoroso de correção conjunta para o julgamento. Implementamos o RankJudge nos domínios de aprendizado de máquina, biomedicina e finanças, avaliamos 21 LLMs juízes de ponta e classificamos esses juízes por meio do modelo Bradley-Terry. Nossa formulação também permite classificar cada par de conversas com classificações de dificuldade, que usamos para organizar dinamicamente a fatia de avaliação, reduzindo o ruído de rótulo, conforme confirmado por anotação humana. Constatamos que as classificações dos juízes são estáveis sob observabilidade parcial, critérios de correção mais grosseiros e um algoritmo alternativo de classificação por passeio aleatório.

English

As interactive LLM-based applications are created and refined, model developers need to evaluate the quality of generated text along many possible axes. For simpler systems, human evaluation may be practical, but in complicated systems like conversational chatbots, the amount of generated text can overwhelm human annotation resources. Model developers have begun to rely heavily on auto-evaluation, where LLMs are also used to judge generation quality. However, existing LLM-as-a-judge benchmarks largely focus on simple Q\&A tasks that do not match the complexity of multi-turn conversations. We introduce RankJudge, a benchmark generator for evaluating LLM-as-a-judge on multi-turn conversations grounded in reference documents. RankJudge creates pairs of conversations where one conversation has a single flaw injected into one turn. This construction allows paired conversations to be labeled unambiguously as better or worse, and precisely isolates failure categories to individual turns, enabling a strict joint correctness criterion for judging. We implement RankJudge across the domains of machine learning, biomedicine, and finance, evaluate 21 frontier LLM judges, and rank those judges via the Bradley-Terry model. Our formulation also allows ranking each conversation pair with difficulty ratings, which we use to dynamically curate the evaluation slice to reduce label noise, as confirmed via human annotation. We find that judge rankings are stable under partial observability, coarser correctness criteria, and an alternative random-walk rating algorithm.