Замена судей жюри: оценка поколений LLM с помощью панели разнообразных моделей

Replacing Judges with Juries: Evaluating LLM Generations with a Panel of Diverse Models

April 29, 2024

Авторы: Pat Verga, Sebastian Hofstatter, Sophia Althammer, Yixuan Su, Aleksandra Piktus, Arkady Arkhangorodsky, Minjie Xu, Naomi White, Patrick Lewis

cs.AI

Аннотация

Поскольку большие языковые модели (Large Language Models, LLM) становятся все более продвинутыми, они опережают наши возможности точно оценить их качество. Не только поиск данных для адекватного исследования конкретных свойств модели представляет сложность, но и оценка правильности генерации моделью свободного текста сама по себе является вызовом. Для решения этой проблемы многие оценки теперь полагаются на использование самих LLM в качестве судей для оценки качества результатов других LLM. Оценки наиболее часто используют одну крупную модель, такую как GPT4. Хотя этот метод стал популярным, он затратен, доказано, что вносит интрамодельный перекос, и в данной работе мы обнаружили, что очень крупные модели часто излишни. Мы предлагаем вместо этого оценивать модели с использованием Панели оценщиков LLM (Panel of LLm evaluators, PoLL). В рамках трех различных настроек судей и на шести различных наборах данных мы обнаружили, что использование PoLL, состоящей из большего числа меньших моделей, превосходит одного крупного судью, проявляет меньше интрамодельного перекоса благодаря своему составу из разнородных семей моделей и делает это более чем в семь раз дешевле.

English

As Large Language Models (LLMs) have become more advanced, they have outpaced our abilities to accurately evaluate their quality. Not only is finding data to adequately probe particular model properties difficult, but evaluating the correctness of a model's freeform generation alone is a challenge. To address this, many evaluations now rely on using LLMs themselves as judges to score the quality of outputs from other LLMs. Evaluations most commonly use a single large model like GPT4. While this method has grown in popularity, it is costly, has been shown to introduce intramodel bias, and in this work, we find that very large models are often unnecessary. We propose instead to evaluate models using a Panel of LLm evaluators (PoLL). Across three distinct judge settings and spanning six different datasets, we find that using a PoLL composed of a larger number of smaller models outperforms a single large judge, exhibits less intra-model bias due to its composition of disjoint model families, and does so while being over seven times less expensive.