StructEval: Aprofundando e Ampliando a Avaliação de Modelos de Linguagem Grandes por Meio de Avaliação Estruturada

StructEval: Deepen and Broaden Large Language Model Assessment via Structured Evaluation

August 6, 2024

Autores: Boxi Cao, Mengjie Ren, Hongyu Lin, Xianpei Han, Feng Zhang, Junfeng Zhan, Le Sun

cs.AI

Resumo

A avaliação é o bastão para o desenvolvimento de grandes modelos de linguagem. As avaliações atuais geralmente empregam um paradigma de avaliação de item único para cada objetivo de teste atômico, o que dificulta discernir se um modelo realmente possui as capacidades necessárias ou simplesmente memoriza/adivinha as respostas para perguntas específicas. Para isso, propomos um novo quadro de avaliação denominado StructEval. Partindo de um objetivo de teste atômico, o StructEval aprofunda e amplia a avaliação conduzindo uma avaliação estruturada em múltiplos níveis cognitivos e conceitos críticos, oferecendo assim uma avaliação abrangente, robusta e consistente para LLMs. Experimentos em três benchmarks amplamente utilizados demonstram que o StructEval serve como uma ferramenta confiável para resistir ao risco de contaminação de dados e reduzir a interferência de possíveis viés, fornecendo assim conclusões mais confiáveis e consistentes sobre as capacidades do modelo. Nosso quadro também lança luz sobre o design de futuros protocolos de avaliação de LLMs fundamentados e confiáveis.

English

Evaluation is the baton for the development of large language models. Current evaluations typically employ a single-item assessment paradigm for each atomic test objective, which struggles to discern whether a model genuinely possesses the required capabilities or merely memorizes/guesses the answers to specific questions. To this end, we propose a novel evaluation framework referred to as StructEval. Starting from an atomic test objective, StructEval deepens and broadens the evaluation by conducting a structured assessment across multiple cognitive levels and critical concepts, and therefore offers a comprehensive, robust and consistent evaluation for LLMs. Experiments on three widely-used benchmarks demonstrate that StructEval serves as a reliable tool for resisting the risk of data contamination and reducing the interference of potential biases, thereby providing more reliable and consistent conclusions regarding model capabilities. Our framework also sheds light on the design of future principled and trustworthy LLM evaluation protocols.