StructEval: Verdieping en verbreding van de evaluatie van grote taalmodellen via gestructureerde beoordeling

StructEval: Deepen and Broaden Large Language Model Assessment via Structured Evaluation

August 6, 2024

Auteurs: Boxi Cao, Mengjie Ren, Hongyu Lin, Xianpei Han, Feng Zhang, Junfeng Zhan, Le Sun

cs.AI

Samenvatting

Evaluatie is de stok die de ontwikkeling van grote taalmodellen aanstuurt. Huidige evaluaties maken doorgaans gebruik van een enkelvoudige beoordelingsparadigma voor elk atomair testdoel, wat moeite heeft om te bepalen of een model daadwerkelijk over de vereiste capaciteiten beschikt of slechts de antwoorden op specifieke vragen uit het hoofd heeft geleerd of raadt. Om dit aan te pakken, stellen we een nieuw evaluatieraamwerk voor, genaamd StructEval. Uitgaande van een atomair testdoel, verdiept en verbreedt StructEval de evaluatie door een gestructureerde beoordeling uit te voeren over meerdere cognitieve niveaus en kritieke concepten, en biedt zo een uitgebreide, robuuste en consistente evaluatie voor grote taalmodellen (LLMs). Experimenten op drie veelgebruikte benchmarks tonen aan dat StructEval een betrouwbaar instrument is om het risico van datacontaminatie te weerstaan en de invloed van mogelijke vooroordelen te verminderen, waardoor betrouwbaardere en consistentere conclusies over modelcapaciteiten worden geboden. Ons raamwerk werpt ook licht op het ontwerp van toekomstige principiële en betrouwbare evaluatieprotocollen voor grote taalmodellen.

English

Evaluation is the baton for the development of large language models. Current evaluations typically employ a single-item assessment paradigm for each atomic test objective, which struggles to discern whether a model genuinely possesses the required capabilities or merely memorizes/guesses the answers to specific questions. To this end, we propose a novel evaluation framework referred to as StructEval. Starting from an atomic test objective, StructEval deepens and broadens the evaluation by conducting a structured assessment across multiple cognitive levels and critical concepts, and therefore offers a comprehensive, robust and consistent evaluation for LLMs. Experiments on three widely-used benchmarks demonstrate that StructEval serves as a reliable tool for resisting the risk of data contamination and reducing the interference of potential biases, thereby providing more reliable and consistent conclusions regarding model capabilities. Our framework also sheds light on the design of future principled and trustworthy LLM evaluation protocols.