RankJudge: Ein synthetischer Benchmark-Generator für Multi-Turn-LLM-als-Richter

Zusammenfassung

Da interaktive, auf LLMs basierende Anwendungen entwickelt und verfeinert werden, müssen Modellentwickler die Qualität generierter Texte entlang vieler möglicher Achsen bewerten. Für einfachere Systeme mag eine menschliche Evaluierung praktikabel sein, aber in komplexen Systemen wie Konversations-Chatbots kann die Menge an generiertem Text die Ressourcen für menschliche Annotationen überfordern. Modellentwickler haben begonnen, sich stark auf die Auto-Evaluierung zu verlassen, bei der LLMs auch zur Beurteilung der Generierungsqualität eingesetzt werden. Allerdings konzentrieren sich bestehende LLM-als-Richter-Benchmarks weitgehend auf einfache Frage-Antwort-Aufgaben, die nicht der Komplexität mehrfacher Gesprächsrunden entsprechen. Wir stellen RankJudge vor, einen Benchmark-Generator zur Bewertung von LLM-als-Richter in mehrfachen Gesprächsrunden, die auf Referenzdokumenten basieren. RankJudge erzeugt Gesprächspaare, bei denen ein Gespräch einen einzelnen Fehler aufweist, der in einer Gesprächsrunde eingefügt wurde. Diese Konstruktion ermöglicht es, gepaarte Gespräche eindeutig als besser oder schlechter zu kennzeichnen und Fehlerkategorien präzise auf einzelne Runden zu isolieren, was ein strenges gemeinsames Korrektheitskriterium für die Beurteilung ermöglicht. Wir implementieren RankJudge in den Bereichen maschinelles Lernen, Biomedizin und Finanzen, evaluieren 21 führende LLM-Richter und ordnen diese Richter mittels des Bradley-Terry-Modells. Unsere Formulierung erlaubt zudem die Einstufung jedes Gesprächspaares mit Schwierigkeitsgraden, die wir nutzen, um den Evaluierungsausschnitt dynamisch zu kuratieren und so das Beschriftungsrauschen zu reduzieren, wie durch menschliche Annotationen bestätigt wird. Wir stellen fest, dass die Rangfolgen der Richter unter teilweiser Beobachtbarkeit, gröberen Korrektheitskriterien und einem alternativen Random-Walk-Bewertungsalgorithmus stabil bleiben.

English

As interactive LLM-based applications are created and refined, model developers need to evaluate the quality of generated text along many possible axes. For simpler systems, human evaluation may be practical, but in complicated systems like conversational chatbots, the amount of generated text can overwhelm human annotation resources. Model developers have begun to rely heavily on auto-evaluation, where LLMs are also used to judge generation quality. However, existing LLM-as-a-judge benchmarks largely focus on simple Q\&A tasks that do not match the complexity of multi-turn conversations. We introduce RankJudge, a benchmark generator for evaluating LLM-as-a-judge on multi-turn conversations grounded in reference documents. RankJudge creates pairs of conversations where one conversation has a single flaw injected into one turn. This construction allows paired conversations to be labeled unambiguously as better or worse, and precisely isolates failure categories to individual turns, enabling a strict joint correctness criterion for judging. We implement RankJudge across the domains of machine learning, biomedicine, and finance, evaluate 21 frontier LLM judges, and rank those judges via the Bradley-Terry model. Our formulation also allows ranking each conversation pair with difficulty ratings, which we use to dynamically curate the evaluation slice to reduce label noise, as confirmed via human annotation. We find that judge rankings are stable under partial observability, coarser correctness criteria, and an alternative random-walk rating algorithm.