PromptBench: Een Geïntegreerde Bibliotheek voor de Evaluatie van Grote Taalmodellen

PromptBench: A Unified Library for Evaluation of Large Language Models

December 13, 2023

Auteurs: Kaijie Zhu, Qinlin Zhao, Hao Chen, Jindong Wang, Xing Xie

cs.AI

Samenvatting

De evaluatie van grote taalmodellen (LLMs) is cruciaal om hun prestaties te beoordelen en mogelijke beveiligingsrisico's te beperken. In dit artikel introduceren we PromptBench, een geïntegreerde bibliotheek voor het evalueren van LLMs. Deze bestaat uit verschillende kerncomponenten die eenvoudig kunnen worden gebruikt en uitgebreid door onderzoekers: promptconstructie, promptengineering, het laden van datasets en modellen, adversariële promptaanvallen, dynamische evaluatieprotocollen en analysetools. PromptBench is ontworpen als een open, algemeen en flexibel codebase voor onderzoeksdoeleinden, dat origineel onderzoek kan faciliteren bij het creëren van nieuwe benchmarks, het implementeren van downstreamtoepassingen en het ontwerpen van nieuwe evaluatieprotocollen. De code is beschikbaar op: https://github.com/microsoft/promptbench en zal continu worden ondersteund.

English

The evaluation of large language models (LLMs) is crucial to assess their performance and mitigate potential security risks. In this paper, we introduce PromptBench, a unified library to evaluate LLMs. It consists of several key components that are easily used and extended by researchers: prompt construction, prompt engineering, dataset and model loading, adversarial prompt attack, dynamic evaluation protocols, and analysis tools. PromptBench is designed to be an open, general, and flexible codebase for research purposes that can facilitate original study in creating new benchmarks, deploying downstream applications, and designing new evaluation protocols. The code is available at: https://github.com/microsoft/promptbench and will be continuously supported.