RankJudge: Un Generador Sintético de Benchmarks LLM-as-a-Judge de Múltiples Turnos

Resumen

A medida que se crean y refinan aplicaciones interactivas basadas en LLM, los desarrolladores de modelos necesitan evaluar la calidad del texto generado a lo largo de muchos ejes posibles. Para sistemas más simples, la evaluación humana puede ser práctica, pero en sistemas complejos como los chatbots conversacionales, la cantidad de texto generado puede abrumar los recursos de anotación humana. Los desarrolladores de modelos han comenzado a depender en gran medida de la auto-evaluación, donde los LLM también se utilizan para juzgar la calidad de la generación. Sin embargo, los puntos de referencia existentes de LLM como juez se centran principalmente en tareas simples de preguntas y respuestas que no coinciden con la complejidad de las conversaciones de múltiples turnos. Presentamos RankJudge, un generador de puntos de referencia para evaluar LLM como juez en conversaciones de múltiples turnos basadas en documentos de referencia. RankJudge crea pares de conversaciones donde una conversación tiene un único defecto inyectado en un turno. Esta construcción permite etiquetar de manera inequívoca las conversaciones emparejadas como mejores o peores, y aísla precisamente las categorías de fallo a turnos individuales, lo que permite un criterio de corrección conjunta estricto para juzgar. Implementamos RankJudge en los dominios de aprendizaje automático, biomedicina y finanzas, evaluamos 21 LLM jueces de frontera y clasificamos esos jueces mediante el modelo de Bradley-Terry. Nuestra formulación también permite clasificar cada par de conversaciones con calificaciones de dificultad, que utilizamos para seleccionar dinámicamente el segmento de evaluación y reducir el ruido en las etiquetas, según lo confirmado mediante anotación humana. Encontramos que las clasificaciones de los jueces son estables bajo observabilidad parcial, criterios de corrección más generales y un algoritmo alternativo de calificación de caminata aleatoria.

English

As interactive LLM-based applications are created and refined, model developers need to evaluate the quality of generated text along many possible axes. For simpler systems, human evaluation may be practical, but in complicated systems like conversational chatbots, the amount of generated text can overwhelm human annotation resources. Model developers have begun to rely heavily on auto-evaluation, where LLMs are also used to judge generation quality. However, existing LLM-as-a-judge benchmarks largely focus on simple Q\&A tasks that do not match the complexity of multi-turn conversations. We introduce RankJudge, a benchmark generator for evaluating LLM-as-a-judge on multi-turn conversations grounded in reference documents. RankJudge creates pairs of conversations where one conversation has a single flaw injected into one turn. This construction allows paired conversations to be labeled unambiguously as better or worse, and precisely isolates failure categories to individual turns, enabling a strict joint correctness criterion for judging. We implement RankJudge across the domains of machine learning, biomedicine, and finance, evaluate 21 frontier LLM judges, and rank those judges via the Bradley-Terry model. Our formulation also allows ranking each conversation pair with difficulty ratings, which we use to dynamically curate the evaluation slice to reduce label noise, as confirmed via human annotation. We find that judge rankings are stable under partial observability, coarser correctness criteria, and an alternative random-walk rating algorithm.