レポートカード：自然言語要約を用いた言語モデルの定性的評価

Report Cards: Qualitative Evaluation of Language Models Using Natural Language Summaries

September 1, 2024

著者: Blair Yang, Fuyang Cui, Keiran Paster, Jimmy Ba, Pashootan Vaezipoor, Silviu Pitis, Michael R. Zhang

cs.AI

要旨

大規模言語モデル（LLM）の急速な発展と流動的な性質により、従来の定量的ベンチマークではその能力を正確に評価することが困難となっている。我々は「レポートカード」を提案する。これは特定のスキルやトピックにおけるモデルの振る舞いを、人間が解釈可能な自然言語要約として提示するものである。評価フレームワークとして、(1) 特定性（モデル間の識別能力）、(2) 忠実性（モデル能力の正確な反映）、(3) 解釈可能性（人間にとっての明確性と関連性）の3基準を確立した。さらに、人的監督なしでレポートカードを生成する反復アルゴリズムを提案し、各種設計選択をアブレーション実験により検証する。主要なLLMを用いた実験を通じて、レポートカードが従来のベンチマークを超えた知見を提供し、LLMのより解釈可能かつ包括的な評価ニーズに対応できることを実証する。

English

The rapid development and dynamic nature of large language models (LLMs) make it difficult for conventional quantitative benchmarks to accurately assess their capabilities. We propose report cards, which are human-interpretable, natural language summaries of model behavior for specific skills or topics. We develop a framework to evaluate report cards based on three criteria: specificity (ability to distinguish between models), faithfulness (accurate representation of model capabilities), and interpretability (clarity and relevance to humans). We also propose an iterative algorithm for generating report cards without human supervision and explore its efficacy by ablating various design choices. Through experimentation with popular LLMs, we demonstrate that report cards provide insights beyond traditional benchmarks and can help address the need for a more interpretable and holistic evaluation of LLMs.