Boletins Escolares: Avaliação Qualitativa de Modelos de Linguagem Usando Resumos em Linguagem Natural

Report Cards: Qualitative Evaluation of Language Models Using Natural Language Summaries

September 1, 2024

Autores: Blair Yang, Fuyang Cui, Keiran Paster, Jimmy Ba, Pashootan Vaezipoor, Silviu Pitis, Michael R. Zhang

cs.AI

Resumo

O rápido desenvolvimento e a natureza dinâmica dos grandes modelos de linguagem (LLMs) tornam difícil para os benchmarks quantitativos convencionais avaliarem com precisão as suas capacidades. Propomos relatórios descritivos, que são resumos em linguagem natural e interpretáveis por humanos do comportamento do modelo para habilidades ou tópicos específicos. Desenvolvemos um framework para avaliar relatórios descritivos com base em três critérios: especificidade (capacidade de distinguir entre modelos), fidedignidade (representação precisa das capacidades do modelo) e interpretabilidade (clareza e relevância para humanos). Também propomos um algoritmo iterativo para gerar relatórios descritivos sem supervisão humana e exploramos a sua eficácia através da ablação de várias opções de design. Através de experimentação com LLMs populares, demonstramos que os relatórios descritivos fornecem insights além dos benchmarks tradicionais e podem ajudar a atender à necessidade de uma avaliação mais interpretável e holística dos LLMs.

English

The rapid development and dynamic nature of large language models (LLMs) make it difficult for conventional quantitative benchmarks to accurately assess their capabilities. We propose report cards, which are human-interpretable, natural language summaries of model behavior for specific skills or topics. We develop a framework to evaluate report cards based on three criteria: specificity (ability to distinguish between models), faithfulness (accurate representation of model capabilities), and interpretability (clarity and relevance to humans). We also propose an iterative algorithm for generating report cards without human supervision and explore its efficacy by ablating various design choices. Through experimentation with popular LLMs, we demonstrate that report cards provide insights beyond traditional benchmarks and can help address the need for a more interpretable and holistic evaluation of LLMs.