StructEval: Profundizar y Ampliar la Evaluación de Modelos de Lenguaje Grandes a través de Evaluación Estructurada

StructEval: Deepen and Broaden Large Language Model Assessment via Structured Evaluation

August 6, 2024

Autores: Boxi Cao, Mengjie Ren, Hongyu Lin, Xianpei Han, Feng Zhang, Junfeng Zhan, Le Sun

cs.AI

Resumen

La evaluación es el bastón para el desarrollo de grandes modelos de lenguaje. Las evaluaciones actuales suelen emplear un paradigma de evaluación de un solo elemento para cada objetivo de prueba atómico, lo que dificulta discernir si un modelo posee genuinamente las capacidades requeridas o simplemente memoriza/adivina las respuestas a preguntas específicas. Con este fin, proponemos un nuevo marco de evaluación denominado StructEval. Partiendo de un objetivo de prueba atómico, StructEval profundiza y amplía la evaluación al realizar una evaluación estructurada en múltiples niveles cognitivos y conceptos críticos, ofreciendo así una evaluación integral, sólida y coherente para los LLMs. Experimentos en tres benchmarks ampliamente utilizados demuestran que StructEval sirve como una herramienta confiable para resistir el riesgo de contaminación de datos y reducir la interferencia de posibles sesgos, proporcionando conclusiones más fiables y consistentes sobre las capacidades del modelo. Nuestro marco también arroja luz sobre el diseño de futuros protocolos de evaluación de LLMs fundamentados y confiables.

English

Evaluation is the baton for the development of large language models. Current evaluations typically employ a single-item assessment paradigm for each atomic test objective, which struggles to discern whether a model genuinely possesses the required capabilities or merely memorizes/guesses the answers to specific questions. To this end, we propose a novel evaluation framework referred to as StructEval. Starting from an atomic test objective, StructEval deepens and broadens the evaluation by conducting a structured assessment across multiple cognitive levels and critical concepts, and therefore offers a comprehensive, robust and consistent evaluation for LLMs. Experiments on three widely-used benchmarks demonstrate that StructEval serves as a reliable tool for resisting the risk of data contamination and reducing the interference of potential biases, thereby providing more reliable and consistent conclusions regarding model capabilities. Our framework also sheds light on the design of future principled and trustworthy LLM evaluation protocols.