Reemplazando jueces por jurados: Evaluación de generaciones de LLM con un panel de modelos diversos

Replacing Judges with Juries: Evaluating LLM Generations with a Panel of Diverse Models

April 29, 2024

Autores: Pat Verga, Sebastian Hofstatter, Sophia Althammer, Yixuan Su, Aleksandra Piktus, Arkady Arkhangorodsky, Minjie Xu, Naomi White, Patrick Lewis

cs.AI

Resumen

A medida que los Modelos de Lenguaje de Gran Escala (LLMs, por sus siglas en inglés) han avanzado, han superado nuestra capacidad para evaluar con precisión su calidad. No solo es difícil encontrar datos que permitan sondear adecuadamente propiedades específicas de los modelos, sino que evaluar la corrección de una generación de texto libre por sí misma representa un desafío. Para abordar esto, muchas evaluaciones ahora dependen del uso de los propios LLMs como jueces para calificar la calidad de las salidas de otros LLMs. Las evaluaciones suelen utilizar un único modelo grande como GPT-4. Si bien este método ha ganado popularidad, es costoso, se ha demostrado que introduce sesgos intramodelo, y en este trabajo encontramos que los modelos muy grandes a menudo no son necesarios. En su lugar, proponemos evaluar los modelos utilizando un Panel de Evaluadores LLM (PoLL, por sus siglas en inglés). A través de tres configuraciones distintas de jueces y abarcando seis conjuntos de datos diferentes, encontramos que el uso de un PoLL compuesto por un mayor número de modelos más pequeños supera a un único juez grande, exhibe menos sesgo intramodelo debido a su composición de familias de modelos disjuntas, y lo hace siendo más de siete veces menos costoso.

English

As Large Language Models (LLMs) have become more advanced, they have outpaced our abilities to accurately evaluate their quality. Not only is finding data to adequately probe particular model properties difficult, but evaluating the correctness of a model's freeform generation alone is a challenge. To address this, many evaluations now rely on using LLMs themselves as judges to score the quality of outputs from other LLMs. Evaluations most commonly use a single large model like GPT4. While this method has grown in popularity, it is costly, has been shown to introduce intramodel bias, and in this work, we find that very large models are often unnecessary. We propose instead to evaluate models using a Panel of LLm evaluators (PoLL). Across three distinct judge settings and spanning six different datasets, we find that using a PoLL composed of a larger number of smaller models outperforms a single large judge, exhibits less intra-model bias due to its composition of disjoint model families, and does so while being over seven times less expensive.