RankJudge: многораундовый генератор синтетических бенчмарков на основе LLM в роли судьи

Аннотация

По мере создания и совершенствования интерактивных приложений на основе LLM разработчикам моделей необходимо оценивать качество сгенерированного текста по множеству возможных критериев. Для более простых систем человеческая оценка может быть практичной, но в сложных системах, таких как диалоговые чат-боты, объем сгенерированного текста может перегружать ресурсы человеческой аннотации. Разработчики моделей начали в значительной степени полагаться на автоматическую оценку, где LLM также используются для оценки качества генерации. Однако существующие бенчмарки LLM-в-роли-судьи в основном сосредоточены на простых задачах вопрос-ответ, которые не соответствуют сложности многоходовых диалогов. Мы представляем RankJudge — генератор бенчмарков для оценки LLM-в-роли-судьи на многоходовых диалогах, основанных на референтных документах. RankJudge создает пары диалогов, в которых один диалог содержит одиночный дефект, внедренный в один ход. Такая конструкция позволяет однозначно помечать пары диалогов как лучший или худший, а также точно изолирует категории ошибок по отдельным ходам, что позволяет установить строгий совместный критерий корректности для оценки. Мы реализуем RankJudge в областях машинного обучения, биомедицины и финансов, оцениваем 21 передового LLM-судью и ранжируем этих судей с помощью модели Брэдли-Терри. Наша формулировка также позволяет ранжировать каждую пару диалогов с оценками сложности, которые мы используем для динамического формирования оценочного среза с целью уменьшения шума в разметке, что подтверждено человеческой аннотацией. Мы обнаруживаем, что ранжирования судей стабильны при частичной наблюдаемости, более грубых критериях корректности и альтернативном алгоритме оценки на основе случайного блуждания.

English

As interactive LLM-based applications are created and refined, model developers need to evaluate the quality of generated text along many possible axes. For simpler systems, human evaluation may be practical, but in complicated systems like conversational chatbots, the amount of generated text can overwhelm human annotation resources. Model developers have begun to rely heavily on auto-evaluation, where LLMs are also used to judge generation quality. However, existing LLM-as-a-judge benchmarks largely focus on simple Q\&A tasks that do not match the complexity of multi-turn conversations. We introduce RankJudge, a benchmark generator for evaluating LLM-as-a-judge on multi-turn conversations grounded in reference documents. RankJudge creates pairs of conversations where one conversation has a single flaw injected into one turn. This construction allows paired conversations to be labeled unambiguously as better or worse, and precisely isolates failure categories to individual turns, enabling a strict joint correctness criterion for judging. We implement RankJudge across the domains of machine learning, biomedicine, and finance, evaluate 21 frontier LLM judges, and rank those judges via the Bradley-Terry model. Our formulation also allows ranking each conversation pair with difficulty ratings, which we use to dynamically curate the evaluation slice to reduce label noise, as confirmed via human annotation. We find that judge rankings are stable under partial observability, coarser correctness criteria, and an alternative random-walk rating algorithm.