Rapportkaarten: Kwalitatieve Evaluatie van Taalmodellen met Behulp van Natuurlijke Taalsamenvattingen

Report Cards: Qualitative Evaluation of Language Models Using Natural Language Summaries

September 1, 2024

Auteurs: Blair Yang, Fuyang Cui, Keiran Paster, Jimmy Ba, Pashootan Vaezipoor, Silviu Pitis, Michael R. Zhang

cs.AI

Samenvatting

De snelle ontwikkeling en dynamische aard van grote taalmodellen (LLM's) maken het moeilijk voor conventionele kwantitatieve benchmarks om hun capaciteiten nauwkeurig te beoordelen. Wij stellen rapportkaarten voor: door mensen interpreteerbare, natuurlijke-taal samenvattingen van modelgedrag voor specifieke vaardigheden of onderwerpen. We ontwikkelen een raamwerk om rapportkaarten te evalueren op basis van drie criteria: specificiteit (het vermogen om onderscheid te maken tussen modellen), betrouwbaarheid (nauwkeurige weergave van modelcapaciteiten) en interpreteerbaarheid (helderheid en relevantie voor mensen). We stellen ook een iteratief algoritme voor voor het genereren van rapportkaarten zonder menselijk toezicht en onderzoeken de doeltreffendheid ervan door verschillende ontwerpkeuzes te ableren. Door experimenten met populaire LLM's tonen we aan dat rapportkaarten inzichten bieden die verder gaan dan traditionele benchmarks en kunnen helpen in de behoefte aan een meer interpreteerbare en holistische evaluatie van LLM's.

English

The rapid development and dynamic nature of large language models (LLMs) make it difficult for conventional quantitative benchmarks to accurately assess their capabilities. We propose report cards, which are human-interpretable, natural language summaries of model behavior for specific skills or topics. We develop a framework to evaluate report cards based on three criteria: specificity (ability to distinguish between models), faithfulness (accurate representation of model capabilities), and interpretability (clarity and relevance to humans). We also propose an iterative algorithm for generating report cards without human supervision and explore its efficacy by ablating various design choices. Through experimentation with popular LLMs, we demonstrate that report cards provide insights beyond traditional benchmarks and can help address the need for a more interpretable and holistic evaluation of LLMs.