Bulletins de performance : Évaluation qualitative des modèles linguistiques à l'aide de résumés en langage naturel

Report Cards: Qualitative Evaluation of Language Models Using Natural Language Summaries

September 1, 2024

papers.authors: Blair Yang, Fuyang Cui, Keiran Paster, Jimmy Ba, Pashootan Vaezipoor, Silviu Pitis, Michael R. Zhang

cs.AI

papers.abstract

Le développement rapide et la nature dynamique des grands modèles de langage (LLM) rendent difficile pour les benchmarks quantitatifs conventionnels d'évaluer avec précision leurs capacités. Nous proposons les fiches d'évaluation, qui sont des résumés en langage naturel et interprétables par l'homme du comportement des modèles pour des compétences ou des sujets spécifiques. Nous développons un cadre pour évaluer ces fiches selon trois critères : la spécificité (capacité à distinguer les modèles), la fidélité (représentation précise des capacités du modèle) et l'interprétabilité (clarté et pertinence pour les humains). Nous proposons également un algorithme itératif pour générer des fiches d'évaluation sans supervision humaine et explorons son efficacité en procédant à l'ablation de divers choix de conception. Grâce à des expérimentations sur des LLM populaires, nous démontrons que les fiches d'évaluation fournissent des informations au-delà des benchmarks traditionnels et peuvent contribuer à répondre au besoin d'une évaluation plus interprétable et holistique des LLM.

English

The rapid development and dynamic nature of large language models (LLMs) make it difficult for conventional quantitative benchmarks to accurately assess their capabilities. We propose report cards, which are human-interpretable, natural language summaries of model behavior for specific skills or topics. We develop a framework to evaluate report cards based on three criteria: specificity (ability to distinguish between models), faithfulness (accurate representation of model capabilities), and interpretability (clarity and relevance to humans). We also propose an iterative algorithm for generating report cards without human supervision and explore its efficacy by ablating various design choices. Through experimentation with popular LLMs, we demonstrate that report cards provide insights beyond traditional benchmarks and can help address the need for a more interpretable and holistic evaluation of LLMs.