Zeugnisse: Qualitative Bewertung von Sprachmodellen mithilfe natürlicher Sprachzusammenfassungen

Report Cards: Qualitative Evaluation of Language Models Using Natural Language Summaries

September 1, 2024

papers.authors: Blair Yang, Fuyang Cui, Keiran Paster, Jimmy Ba, Pashootan Vaezipoor, Silviu Pitis, Michael R. Zhang

cs.AI

papers.abstract

Die rasante Entwicklung und dynamische Natur großer Sprachmodelle (LLM) erschwert es, deren Fähigkeiten mit konventionellen quantitativen Benchmarks genau zu bewerten. Wir schlagen Report Cards vor – menschenlesbare, natürlichsprachliche Zusammenfassungen des Modellverhaltens für bestimmte Fähigkeiten oder Themen. Wir entwickeln einen Bewertungsrahmen für Report Cards basierend auf drei Kriterien: Spezifität (Fähigkeit, zwischen Modellen zu unterscheiden), Treue (genaue Darstellung der Modellfähigkeiten) und Interpretierbarkeit (Klarheit und Relevanz für Menschen). Zudem präsentieren wir einen iterativen Algorithmus zur Erstellung von Report Cards ohne menschliche Aufsicht und untersuchen seine Wirksamkeit durch Ablation verschiedener Gestaltungsentscheidungen. Experimente mit gängigen LLMs zeigen, dass Report Cards Einblicke liefern, die über traditionelle Benchmarks hinausgehen, und dazu beitragen können, den Bedarf an einer interpretierbareren und ganzheitlicheren Bewertung von LLMs zu adressieren.

English

The rapid development and dynamic nature of large language models (LLMs) make it difficult for conventional quantitative benchmarks to accurately assess their capabilities. We propose report cards, which are human-interpretable, natural language summaries of model behavior for specific skills or topics. We develop a framework to evaluate report cards based on three criteria: specificity (ability to distinguish between models), faithfulness (accurate representation of model capabilities), and interpretability (clarity and relevance to humans). We also propose an iterative algorithm for generating report cards without human supervision and explore its efficacy by ablating various design choices. Through experimentation with popular LLMs, we demonstrate that report cards provide insights beyond traditional benchmarks and can help address the need for a more interpretable and holistic evaluation of LLMs.