StructEval: Vertiefung und Erweiterung der Bewertung großer Sprachmodelle durch strukturierte Evaluation

StructEval: Deepen and Broaden Large Language Model Assessment via Structured Evaluation

August 6, 2024

Autoren: Boxi Cao, Mengjie Ren, Hongyu Lin, Xianpei Han, Feng Zhang, Junfeng Zhan, Le Sun

cs.AI

Zusammenfassung

Die Evaluation ist der Taktstock für die Entwicklung großer Sprachmodelle. Gegenwärtige Bewertungen verwenden in der Regel ein Einzelitem-Bewertungsparadigma für jedes atomare Testziel, das Schwierigkeiten hat zu erkennen, ob ein Modell tatsächlich über die erforderlichen Fähigkeiten verfügt oder einfach nur Antworten auf spezifische Fragen auswendig lernt/rät. Zu diesem Zweck schlagen wir ein neuartiges Bewertungsrahmenwerk namens StructEval vor. Ausgehend von einem atomaren Testziel vertieft und erweitert StructEval die Bewertung durch eine strukturierte Bewertung über mehrere kognitive Ebenen und wichtige Konzepte hinweg und bietet somit eine umfassende, robuste und konsistente Bewertung für große Sprachmodelle. Experimente an drei weit verbreiteten Benchmarks zeigen, dass StructEval als zuverlässiges Werkzeug dient, um das Risiko einer Datenkontamination zu bekämpfen und die Störung potenzieller Voreingenommenheiten zu reduzieren, wodurch zuverlässigere und konsistentere Schlussfolgerungen hinsichtlich der Modellfähigkeiten gezogen werden können. Unser Rahmenwerk wirft auch Licht auf die Gestaltung zukünftiger fundierter und vertrauenswürdiger Bewertungsprotokolle für große Sprachmodelle.

English

Evaluation is the baton for the development of large language models. Current evaluations typically employ a single-item assessment paradigm for each atomic test objective, which struggles to discern whether a model genuinely possesses the required capabilities or merely memorizes/guesses the answers to specific questions. To this end, we propose a novel evaluation framework referred to as StructEval. Starting from an atomic test objective, StructEval deepens and broadens the evaluation by conducting a structured assessment across multiple cognitive levels and critical concepts, and therefore offers a comprehensive, robust and consistent evaluation for LLMs. Experiments on three widely-used benchmarks demonstrate that StructEval serves as a reliable tool for resisting the risk of data contamination and reducing the interference of potential biases, thereby providing more reliable and consistent conclusions regarding model capabilities. Our framework also sheds light on the design of future principled and trustworthy LLM evaluation protocols.