Табели успеваемости: качественная оценка языковых моделей с использованием сводок на естественном языке

Report Cards: Qualitative Evaluation of Language Models Using Natural Language Summaries

September 1, 2024

Авторы: Blair Yang, Fuyang Cui, Keiran Paster, Jimmy Ba, Pashootan Vaezipoor, Silviu Pitis, Michael R. Zhang

cs.AI

Аннотация

Быстрое развитие и динамичный характер больших языковых моделей (LLM) затрудняют точную оценку их возможностей с помощью традиционных количественных бенчмарков. Мы предлагаем "табели успеваемости" — интерпретируемые человеком сводки на естественном языке, описывающие поведение модели в рамках конкретных навыков или тем. Мы разрабатываем систему оценки табелей по трем критериям: специфичность (способность различать модели), достоверность (точное отражение возможностей модели) и интерпретируемость (понятность и релевантность для человека). Также предлагается итеративный алгоритм генерации табелей без участия человека и исследуется его эффективность путем абляции различных вариантов проектирования. Эксперименты с популярными LLM показывают, что табели дают информацию, выходящую за рамки традиционных бенчмарков, и могут удовлетворить потребность в более интерпретируемой и целостной оценке языковых моделей.

English

The rapid development and dynamic nature of large language models (LLMs) make it difficult for conventional quantitative benchmarks to accurately assess their capabilities. We propose report cards, which are human-interpretable, natural language summaries of model behavior for specific skills or topics. We develop a framework to evaluate report cards based on three criteria: specificity (ability to distinguish between models), faithfulness (accurate representation of model capabilities), and interpretability (clarity and relevance to humans). We also propose an iterative algorithm for generating report cards without human supervision and explore its efficacy by ablating various design choices. Through experimentation with popular LLMs, we demonstrate that report cards provide insights beyond traditional benchmarks and can help address the need for a more interpretable and holistic evaluation of LLMs.