StructEval: Углубление и расширение оценки больших языковых моделей через структурированную оценку

StructEval: Deepen and Broaden Large Language Model Assessment via Structured Evaluation

August 6, 2024

Авторы: Boxi Cao, Mengjie Ren, Hongyu Lin, Xianpei Han, Feng Zhang, Junfeng Zhan, Le Sun

cs.AI

Аннотация

Оценка является ключом к развитию крупных языковых моделей. В настоящее время оценки обычно используют парадигму оценки одним элементом для каждой атомарной цели тестирования, что затрудняет определение, обладает ли модель необходимыми возможностями или просто запоминает/угадывает ответы на конкретные вопросы. В этой связи мы предлагаем новую оценочную платформу под названием StructEval. Начиная с атомарной цели тестирования, StructEval углубляет и расширяет оценку, проводя структурированную оценку на различных когнитивных уровнях и ключевых концепциях, и поэтому предлагает всестороннюю, надежную и последовательную оценку для крупных языковых моделей. Эксперименты на трех широко используемых тестовых наборах данных показывают, что StructEval служит надежным инструментом для сопротивления риску загрязнения данных и снижения влияния потенциальных предвзятостей, обеспечивая более надежные и последовательные выводы относительно возможностей модели. Наша платформа также проливает свет на разработку будущих принципиальных и надежных протоколов оценки крупных языковых моделей.

English

Evaluation is the baton for the development of large language models. Current evaluations typically employ a single-item assessment paradigm for each atomic test objective, which struggles to discern whether a model genuinely possesses the required capabilities or merely memorizes/guesses the answers to specific questions. To this end, we propose a novel evaluation framework referred to as StructEval. Starting from an atomic test objective, StructEval deepens and broadens the evaluation by conducting a structured assessment across multiple cognitive levels and critical concepts, and therefore offers a comprehensive, robust and consistent evaluation for LLMs. Experiments on three widely-used benchmarks demonstrate that StructEval serves as a reliable tool for resisting the risk of data contamination and reducing the interference of potential biases, thereby providing more reliable and consistent conclusions regarding model capabilities. Our framework also sheds light on the design of future principled and trustworthy LLM evaluation protocols.