Pagelle: Valutazione Qualitativa dei Modelli Linguistici Tramite Riepiloghi in Linguaggio Naturale

Report Cards: Qualitative Evaluation of Language Models Using Natural Language Summaries

September 1, 2024

Autori: Blair Yang, Fuyang Cui, Keiran Paster, Jimmy Ba, Pashootan Vaezipoor, Silviu Pitis, Michael R. Zhang

cs.AI

Abstract

Il rapido sviluppo e la natura dinamica dei grandi modelli linguistici (LLM) rendono difficile per i benchmark quantitativi convenzionali valutare con precisione le loro capacità. Proponiamo le "report card", ovvero riepiloghi in linguaggio naturale e interpretabili dall'uomo del comportamento del modello per competenze o argomenti specifici. Sviluppiamo un quadro per valutare le report card basato su tre criteri: specificità (capacità di distinguere tra i modelli), fedeltà (rappresentazione accurata delle capacità del modello) e interpretabilità (chiarezza e rilevanza per gli esseri umani). Proponiamo inoltre un algoritmo iterativo per generare report card senza supervisione umana e ne esploriamo l'efficacia analizzando varie scelte progettuali. Attraverso esperimenti con LLM diffusi, dimostriamo che le report card forniscono informazioni che vanno oltre i benchmark tradizionali e possono aiutare a soddisfare l'esigenza di una valutazione più interpretabile e olistica degli LLM.

English

The rapid development and dynamic nature of large language models (LLMs) make it difficult for conventional quantitative benchmarks to accurately assess their capabilities. We propose report cards, which are human-interpretable, natural language summaries of model behavior for specific skills or topics. We develop a framework to evaluate report cards based on three criteria: specificity (ability to distinguish between models), faithfulness (accurate representation of model capabilities), and interpretability (clarity and relevance to humans). We also propose an iterative algorithm for generating report cards without human supervision and explore its efficacy by ablating various design choices. Through experimentation with popular LLMs, we demonstrate that report cards provide insights beyond traditional benchmarks and can help address the need for a more interpretable and holistic evaluation of LLMs.