StructEval : Approfondir et élargir l'évaluation des grands modèles de langage grâce à une évaluation structurée

StructEval: Deepen and Broaden Large Language Model Assessment via Structured Evaluation

August 6, 2024

Auteurs: Boxi Cao, Mengjie Ren, Hongyu Lin, Xianpei Han, Feng Zhang, Junfeng Zhan, Le Sun

cs.AI

Résumé

L'évaluation est le pilier du développement des grands modèles de langage. Les évaluations actuelles utilisent généralement un paradigme d'évaluation à un seul item pour chaque objectif de test atomique, ce qui peine à déterminer si un modèle possède véritablement les capacités requises ou s'il se contente de mémoriser/deviner les réponses à des questions spécifiques. Pour remédier à cela, nous proposons un nouveau cadre d'évaluation appelé StructEval. Partant d'un objectif de test atomique, StructEval approfondit et élargit l'évaluation en réalisant une évaluation structurée à travers plusieurs niveaux cognitifs et concepts critiques, offrant ainsi une évaluation complète, robuste et cohérente pour les grands modèles de langage. Les expériences menées sur trois benchmarks largement utilisés démontrent que StructEval constitue un outil fiable pour résister au risque de contamination des données et réduire l'interférence des biais potentiels, fournissant ainsi des conclusions plus fiables et cohérentes concernant les capacités des modèles. Notre cadre éclaire également la conception de futurs protocoles d'évaluation des grands modèles de langage, à la fois principiels et dignes de confiance.

English

Evaluation is the baton for the development of large language models. Current evaluations typically employ a single-item assessment paradigm for each atomic test objective, which struggles to discern whether a model genuinely possesses the required capabilities or merely memorizes/guesses the answers to specific questions. To this end, we propose a novel evaluation framework referred to as StructEval. Starting from an atomic test objective, StructEval deepens and broadens the evaluation by conducting a structured assessment across multiple cognitive levels and critical concepts, and therefore offers a comprehensive, robust and consistent evaluation for LLMs. Experiments on three widely-used benchmarks demonstrate that StructEval serves as a reliable tool for resisting the risk of data contamination and reducing the interference of potential biases, thereby providing more reliable and consistent conclusions regarding model capabilities. Our framework also sheds light on the design of future principled and trustworthy LLM evaluation protocols.