RankJudge：マルチターンLLM-as-a-Judge合成ベンチマーク生成器

要旨

インタラクティブなLLMベースのアプリケーションが作成・洗練されるにつれ、モデル開発者は生成テキストの品質を多様な軸に沿って評価する必要がある。単純なシステムでは人間による評価が実用的かもしれないが、会話型チャットボットのような複雑なシステムでは、生成テキストの量が人間のアノテーションリソースを圧倒する可能性がある。モデル開発者は、LLMを用いて生成品質を判定する自動評価に大きく依存し始めている。しかし、既存のLLMを判定者とするベンチマークの大半は、マルチターン会話の複雑さに合致しない単純なQ&Aタスクに焦点を当てている。本稿では、参照文書に基づくマルチターン会話においてLLMを判定者とする評価のためのベンチマーク生成器RankJudgeを紹介する。RankJudgeは、一方の会話に1つの欠陥が1ターンに注入された会話ペアを作成する。この構成により、ペアとなる会話に良し悪しの明確なラベルを付与でき、欠陥カテゴリを個々のターンに正確に分離できるため、判定に対して厳密な同時正解基準が可能になる。我々はRankJudgeを機械学習、生物医学、金融の各領域に実装し、21の最先端LLM判定者を評価し、ブラッドリー・テリー模型を用いてそれらをランク付けする。また、本定式化により各会話ペアに難易度評価を付与することができ、これを利用して評価スライスを動的に精選しラベルノイズを低減する（人間によるアノテーションで確認済み）。判定者のランキングは、部分観測可能性、粗い正解基準、代替のランダムウォーク評定アルゴリズムのもとでも安定していることが分かった。

English

As interactive LLM-based applications are created and refined, model developers need to evaluate the quality of generated text along many possible axes. For simpler systems, human evaluation may be practical, but in complicated systems like conversational chatbots, the amount of generated text can overwhelm human annotation resources. Model developers have begun to rely heavily on auto-evaluation, where LLMs are also used to judge generation quality. However, existing LLM-as-a-judge benchmarks largely focus on simple Q\&A tasks that do not match the complexity of multi-turn conversations. We introduce RankJudge, a benchmark generator for evaluating LLM-as-a-judge on multi-turn conversations grounded in reference documents. RankJudge creates pairs of conversations where one conversation has a single flaw injected into one turn. This construction allows paired conversations to be labeled unambiguously as better or worse, and precisely isolates failure categories to individual turns, enabling a strict joint correctness criterion for judging. We implement RankJudge across the domains of machine learning, biomedicine, and finance, evaluate 21 frontier LLM judges, and rank those judges via the Bradley-Terry model. Our formulation also allows ranking each conversation pair with difficulty ratings, which we use to dynamically curate the evaluation slice to reduce label noise, as confirmed via human annotation. We find that judge rankings are stable under partial observability, coarser correctness criteria, and an alternative random-walk rating algorithm.