PromptBench: Eine einheitliche Bibliothek zur Evaluierung von Large Language Models

PromptBench: A Unified Library for Evaluation of Large Language Models

December 13, 2023

Autoren: Kaijie Zhu, Qinlin Zhao, Hao Chen, Jindong Wang, Xing Xie

cs.AI

Zusammenfassung

Die Bewertung großer Sprachmodelle (LLMs) ist entscheidend, um ihre Leistung zu beurteilen und potenzielle Sicherheitsrisiken zu mindern. In diesem Artikel stellen wir PromptBench vor, eine einheitliche Bibliothek zur Bewertung von LLMs. Sie besteht aus mehreren Schlüsselkomponenten, die von Forschern einfach genutzt und erweitert werden können: Prompt-Konstruktion, Prompt-Engineering, Laden von Datensätzen und Modellen, adversariale Prompt-Angriffe, dynamische Bewertungsprotokolle und Analysewerkzeuge. PromptBench ist als offene, allgemeine und flexible Codebasis für Forschungszwecke konzipiert, die originelle Studien bei der Erstellung neuer Benchmarks, der Bereitstellung von Downstream-Anwendungen und der Gestaltung neuer Bewertungsprotokolle unterstützen kann. Der Code ist verfügbar unter: https://github.com/microsoft/promptbench und wird kontinuierlich unterstützt.

English

The evaluation of large language models (LLMs) is crucial to assess their performance and mitigate potential security risks. In this paper, we introduce PromptBench, a unified library to evaluate LLMs. It consists of several key components that are easily used and extended by researchers: prompt construction, prompt engineering, dataset and model loading, adversarial prompt attack, dynamic evaluation protocols, and analysis tools. PromptBench is designed to be an open, general, and flexible codebase for research purposes that can facilitate original study in creating new benchmarks, deploying downstream applications, and designing new evaluation protocols. The code is available at: https://github.com/microsoft/promptbench and will be continuously supported.