Оценка судей: оценка согласованности и уязвимостей в LLM в качестве судей

Judging the Judges: Evaluating Alignment and Vulnerabilities in LLMs-as-Judges

June 18, 2024

Авторы: Aman Singh Thakur, Kartik Choudhary, Venkat Srinik Ramayapally, Sankaran Vaidyanathan, Dieuwke Hupkes

cs.AI

Аннотация

Предлагая многообещающее решение для проблем масштабируемости, связанных с оценкой человеком, парадигма LLM-в-качестве-судьи быстро набирает популярность как подход к оценке больших языковых моделей (LLM). Однако до сих пор остается много открытых вопросов о сильных и слабых сторонах этой парадигмы и о потенциальных предвзятостях, которые она может нести. В данной статье мы представляем всестороннее исследование производительности различных LLM в роли судей. Мы используем TriviaQA в качестве эталонной модели для оценки объективного рассуждения о знаниях LLM и оцениваем их наряду с человеческими аннотациями, которые, как выяснилось, имеют высокую согласованность между аннотаторами. Наше исследование включает 9 моделей-судей и 9 моделей-экзаменаторов - как базовых, так и настроенных по инструкции. Мы оцениваем соответствие моделей-судей различным размерам моделей, семействам и запросам судей. Среди прочих результатов наше исследование подтверждает важность использования коэффициента каппа Коэна в качестве метрики соответствия вместо простого процентного согласия, показывая, что судьи с высоким процентным согласием все равно могут присваивать значительно различные оценки. Мы обнаружили, что как Llama-3 70B, так и GPT-4 Turbo отлично соответствуют людям, но в отношении ранжирования моделей-экзаменаторов их результаты уступают как JudgeLM-7B, так и лексическому судье Contains, которые имеют на 34 пункта ниже согласованность с людьми. Через анализ ошибок и различные другие исследования, включая влияние длины инструкции и предвзятость к снисходительности, мы надеемся извлечь ценные уроки для использования LLM в качестве судей в будущем.

English

Offering a promising solution to the scalability challenges associated with human evaluation, the LLM-as-a-judge paradigm is rapidly gaining traction as an approach to evaluating large language models (LLMs). However, there are still many open questions about the strengths and weaknesses of this paradigm, and what potential biases it may hold. In this paper, we present a comprehensive study of the performance of various LLMs acting as judges. We leverage TriviaQA as a benchmark for assessing objective knowledge reasoning of LLMs and evaluate them alongside human annotations which we found to have a high inter-annotator agreement. Our study includes 9 judge models and 9 exam taker models -- both base and instruction-tuned. We assess the judge model's alignment across different model sizes, families, and judge prompts. Among other results, our research rediscovers the importance of using Cohen's kappa as a metric of alignment as opposed to simple percent agreement, showing that judges with high percent agreement can still assign vastly different scores. We find that both Llama-3 70B and GPT-4 Turbo have an excellent alignment with humans, but in terms of ranking exam taker models, they are outperformed by both JudgeLM-7B and the lexical judge Contains, which have up to 34 points lower human alignment. Through error analysis and various other studies, including the effects of instruction length and leniency bias, we hope to provide valuable lessons for using LLMs as judges in the future.