Sostituire i giudici con le giurie: valutazione delle generazioni di LLM con un panel di modelli diversificati
Replacing Judges with Juries: Evaluating LLM Generations with a Panel of Diverse Models
April 29, 2024
Autori: Pat Verga, Sebastian Hofstatter, Sophia Althammer, Yixuan Su, Aleksandra Piktus, Arkady Arkhangorodsky, Minjie Xu, Naomi White, Patrick Lewis
cs.AI
Abstract
Man mano che i Modelli Linguistici di Grandi Dimensioni (LLM) sono diventati più avanzati, hanno superato le nostre capacità di valutarne accuratamente la qualità. Non solo è difficile trovare dati per sondare adeguatamente proprietà specifiche del modello, ma valutare la correttezza della generazione libera di un modello rappresenta di per sé una sfida. Per affrontare questo problema, molte valutazioni si basano ora sull'uso degli stessi LLM come giudici per assegnare un punteggio alla qualità degli output prodotti da altri LLM. Le valutazioni utilizzano più comunemente un singolo modello di grandi dimensioni come GPT-4. Sebbene questo metodo abbia guadagnato popolarità, è costoso, è stato dimostrato che introduce un bias intramodello, e in questo lavoro scopriamo che i modelli molto grandi sono spesso non necessari. Proponiamo invece di valutare i modelli utilizzando un Panel di Valutatori LLM (PoLL). In tre diversi contesti di giudizio e attraverso sei diversi dataset, scopriamo che l'uso di un PoLL composto da un numero maggiore di modelli più piccoli supera le prestazioni di un singolo giudice di grandi dimensioni, mostra meno bias intramodello grazie alla sua composizione di famiglie di modelli disgiunte, e lo fa con un costo oltre sette volte inferiore.
English
As Large Language Models (LLMs) have become more advanced, they have outpaced
our abilities to accurately evaluate their quality. Not only is finding data to
adequately probe particular model properties difficult, but evaluating the
correctness of a model's freeform generation alone is a challenge. To address
this, many evaluations now rely on using LLMs themselves as judges to score the
quality of outputs from other LLMs. Evaluations most commonly use a single
large model like GPT4. While this method has grown in popularity, it is costly,
has been shown to introduce intramodel bias, and in this work, we find that
very large models are often unnecessary. We propose instead to evaluate models
using a Panel of LLm evaluators (PoLL). Across three distinct judge settings
and spanning six different datasets, we find that using a PoLL composed of a
larger number of smaller models outperforms a single large judge, exhibits less
intra-model bias due to its composition of disjoint model families, and does so
while being over seven times less expensive.