RankJudge: Een multi-turn LLM-als-rechter synthetische benchmarkgenerator

Samenvatting

Naarmate interactieve, op LLM gebaseerde toepassingen worden gecreëerd en verfijnd, moeten modelontwikkelaars de kwaliteit van gegenereerde tekst langs vele mogelijke assen evalueren. Voor eenvoudigere systemen kan menselijke evaluatie praktisch zijn, maar in complexe systemen zoals conversationele chatbots kan de hoeveelheid gegenereerde tekst de middelen voor menselijke annotatie overweldigen. Modelontwikkelaars zijn sterk gaan vertrouwen op auto-evaluatie, waarbij LLM's ook worden gebruikt om de generatiekwaliteit te beoordelen. Bestaande LLM-als-rechter benchmarks richten zich echter grotendeels op eenvoudige Q&A-taken die niet overeenkomen met de complexiteit van meerbeurtsgesprekken. We introduceren RankJudge, een benchmarkgenerator voor het evalueren van LLM-als-rechter bij meerbeurtsgesprekken die zijn gebaseerd op referentiedocumenten. RankJudge creëert paren van gesprekken waarbij één gesprek een enkele fout bevat die in één beurt is geïnjecteerd. Deze constructie maakt het mogelijk om gepaarde gesprekken ondubbelzinnig als beter of slechter te labelen, en faalcategorieën precies te isoleren tot individuele beurten, waardoor een strikt gezamenlijk correctheidscriterium voor beoordeling mogelijk wordt. We implementeren RankJudge in de domeinen van machinaal leren, biomedicine en financiën, evalueren 21 grensverleggende LLM-rechters en rangschikken deze rechters via het Bradley-Terry-model. Onze formulering maakt het ook mogelijk om elk gesprekspaar te rangschikken met moeilijkheidsgraden, die we gebruiken om de evaluatieset dynamisch samen te stellen om labelruis te verminderen, zoals bevestigd door menselijke annotatie. We vinden dat rechterrangschikkingen stabiel zijn onder gedeeltelijke waarneembaarheid, grovere correctheidscriteria en een alternatief random-walk beoordelingsalgoritme.

English

As interactive LLM-based applications are created and refined, model developers need to evaluate the quality of generated text along many possible axes. For simpler systems, human evaluation may be practical, but in complicated systems like conversational chatbots, the amount of generated text can overwhelm human annotation resources. Model developers have begun to rely heavily on auto-evaluation, where LLMs are also used to judge generation quality. However, existing LLM-as-a-judge benchmarks largely focus on simple Q\&A tasks that do not match the complexity of multi-turn conversations. We introduce RankJudge, a benchmark generator for evaluating LLM-as-a-judge on multi-turn conversations grounded in reference documents. RankJudge creates pairs of conversations where one conversation has a single flaw injected into one turn. This construction allows paired conversations to be labeled unambiguously as better or worse, and precisely isolates failure categories to individual turns, enabling a strict joint correctness criterion for judging. We implement RankJudge across the domains of machine learning, biomedicine, and finance, evaluate 21 frontier LLM judges, and rank those judges via the Bradley-Terry model. Our formulation also allows ranking each conversation pair with difficulty ratings, which we use to dynamically curate the evaluation slice to reduce label noise, as confirmed via human annotation. We find that judge rankings are stable under partial observability, coarser correctness criteria, and an alternative random-walk rating algorithm.