StructEval: Approfondire e Ampliare la Valutazione dei Modelli Linguistici di Grande Scala attraverso una Valutazione Strutturata
StructEval: Deepen and Broaden Large Language Model Assessment via Structured Evaluation
August 6, 2024
Autori: Boxi Cao, Mengjie Ren, Hongyu Lin, Xianpei Han, Feng Zhang, Junfeng Zhan, Le Sun
cs.AI
Abstract
La valutazione è il punto di riferimento per lo sviluppo dei grandi modelli linguistici. Le valutazioni attuali impiegano tipicamente un paradigma di valutazione a singolo elemento per ogni obiettivo di test atomico, il che rende difficile discernere se un modello possiede effettivamente le capacità richieste o si limita a memorizzare/indovinare le risposte a domande specifiche. A tal fine, proponiamo un nuovo framework di valutazione denominato StructEval. Partendo da un obiettivo di test atomico, StructEval approfondisce e amplia la valutazione conducendo una valutazione strutturata su più livelli cognitivi e concetti critici, offrendo così una valutazione completa, robusta e coerente per i grandi modelli linguistici. Esperimenti su tre benchmark ampiamente utilizzati dimostrano che StructEval funge da strumento affidabile per contrastare il rischio di contaminazione dei dati e ridurre l'interferenza di potenziali bias, fornendo così conclusioni più affidabili e coerenti riguardo alle capacità del modello. Il nostro framework offre inoltre spunti per la progettazione di futuri protocolli di valutazione dei grandi modelli linguistici, basati su principi e affidabili.
English
Evaluation is the baton for the development of large language models. Current
evaluations typically employ a single-item assessment paradigm for each atomic
test objective, which struggles to discern whether a model genuinely possesses
the required capabilities or merely memorizes/guesses the answers to specific
questions. To this end, we propose a novel evaluation framework referred to as
StructEval. Starting from an atomic test objective, StructEval deepens and
broadens the evaluation by conducting a structured assessment across multiple
cognitive levels and critical concepts, and therefore offers a comprehensive,
robust and consistent evaluation for LLMs. Experiments on three widely-used
benchmarks demonstrate that StructEval serves as a reliable tool for resisting
the risk of data contamination and reducing the interference of potential
biases, thereby providing more reliable and consistent conclusions regarding
model capabilities. Our framework also sheds light on the design of future
principled and trustworthy LLM evaluation protocols.