StructEval：構造化評価による大規模言語モデル評価の深化と拡大

StructEval: Deepen and Broaden Large Language Model Assessment via Structured Evaluation

August 6, 2024

著者: Boxi Cao, Mengjie Ren, Hongyu Lin, Xianpei Han, Feng Zhang, Junfeng Zhan, Le Sun

cs.AI

要旨

評価は大規模言語モデルの発展におけるバトンである。現在の評価は、通常、各原子テスト目標に対して単一項目評価パラダイムを採用しており、モデルが真に必要な能力を備えているのか、それとも特定の質問に対する答えを記憶/推測しているだけなのかを識別するのが困難である。このため、我々はStructEvalと呼ばれる新しい評価フレームワークを提案する。StructEvalは、原子テスト目標から出発し、複数の認知レベルと重要な概念にわたる構造化された評価を行うことで、評価を深化・拡大し、大規模言語モデルに対する包括的で堅牢かつ一貫した評価を提供する。3つの広く使用されているベンチマークでの実験により、StructEvalがデータ汚染のリスクを抵抗し、潜在的なバイアスの干渉を軽減する信頼できるツールとして機能し、モデルの能力に関するより信頼性の高い一貫した結論を提供することが示された。我々のフレームワークは、将来の原則的で信頼できる大規模言語モデル評価プロトコルの設計にも光を当てるものである。

English

Evaluation is the baton for the development of large language models. Current evaluations typically employ a single-item assessment paradigm for each atomic test objective, which struggles to discern whether a model genuinely possesses the required capabilities or merely memorizes/guesses the answers to specific questions. To this end, we propose a novel evaluation framework referred to as StructEval. Starting from an atomic test objective, StructEval deepens and broadens the evaluation by conducting a structured assessment across multiple cognitive levels and critical concepts, and therefore offers a comprehensive, robust and consistent evaluation for LLMs. Experiments on three widely-used benchmarks demonstrate that StructEval serves as a reliable tool for resisting the risk of data contamination and reducing the interference of potential biases, thereby providing more reliable and consistent conclusions regarding model capabilities. Our framework also sheds light on the design of future principled and trustworthy LLM evaluation protocols.