Boletines de Calificaciones: Evaluación Cualitativa de Modelos de Lenguaje Utilizando Resúmenes en Lenguaje Natural

Report Cards: Qualitative Evaluation of Language Models Using Natural Language Summaries

September 1, 2024

Autores: Blair Yang, Fuyang Cui, Keiran Paster, Jimmy Ba, Pashootan Vaezipoor, Silviu Pitis, Michael R. Zhang

cs.AI

Resumen

El rápido desarrollo y la naturaleza dinámica de los modelos de lenguaje de gran escala (LLMs, por sus siglas en inglés) dificultan que los puntos de referencia cuantitativos convencionales evalúen con precisión sus capacidades. Proponemos las "hojas de informe", que son resúmenes en lenguaje natural interpretables por humanos sobre el comportamiento de los modelos para habilidades o temas específicos. Desarrollamos un marco para evaluar las hojas de informe basado en tres criterios: especificidad (capacidad de distinguir entre modelos), fidelidad (representación precisa de las capacidades del modelo) e interpretabilidad (claridad y relevancia para los humanos). También proponemos un algoritmo iterativo para generar hojas de informe sin supervisión humana y exploramos su eficacia mediante la eliminación de diversas opciones de diseño. A través de experimentos con LLMs populares, demostramos que las hojas de informe ofrecen perspectivas más allá de los puntos de referencia tradicionales y pueden ayudar a abordar la necesidad de una evaluación más interpretable y holística de los LLMs.

English

The rapid development and dynamic nature of large language models (LLMs) make it difficult for conventional quantitative benchmarks to accurately assess their capabilities. We propose report cards, which are human-interpretable, natural language summaries of model behavior for specific skills or topics. We develop a framework to evaluate report cards based on three criteria: specificity (ability to distinguish between models), faithfulness (accurate representation of model capabilities), and interpretability (clarity and relevance to humans). We also propose an iterative algorithm for generating report cards without human supervision and explore its efficacy by ablating various design choices. Through experimentation with popular LLMs, we demonstrate that report cards provide insights beyond traditional benchmarks and can help address the need for a more interpretable and holistic evaluation of LLMs.