PromptBench: Una Libreria Unificata per la Valutazione dei Modelli Linguistici di Grande Dimensione

PromptBench: A Unified Library for Evaluation of Large Language Models

December 13, 2023

Autori: Kaijie Zhu, Qinlin Zhao, Hao Chen, Jindong Wang, Xing Xie

cs.AI

Abstract

La valutazione dei modelli linguistici di grandi dimensioni (LLM) è fondamentale per valutarne le prestazioni e mitigare i potenziali rischi di sicurezza. In questo articolo, presentiamo PromptBench, una libreria unificata per la valutazione degli LLM. Essa è composta da diversi componenti chiave che sono facilmente utilizzabili ed estendibili dai ricercatori: costruzione dei prompt, ingegnerizzazione dei prompt, caricamento di dataset e modelli, attacchi avversari tramite prompt, protocolli di valutazione dinamici e strumenti di analisi. PromptBench è progettata per essere una codebase aperta, generale e flessibile per scopi di ricerca, in grado di facilitare studi originali nella creazione di nuovi benchmark, nel dispiegamento di applicazioni downstream e nella progettazione di nuovi protocolli di valutazione. Il codice è disponibile all'indirizzo: https://github.com/microsoft/promptbench e sarà supportato in modo continuativo.

English

The evaluation of large language models (LLMs) is crucial to assess their performance and mitigate potential security risks. In this paper, we introduce PromptBench, a unified library to evaluate LLMs. It consists of several key components that are easily used and extended by researchers: prompt construction, prompt engineering, dataset and model loading, adversarial prompt attack, dynamic evaluation protocols, and analysis tools. PromptBench is designed to be an open, general, and flexible codebase for research purposes that can facilitate original study in creating new benchmarks, deploying downstream applications, and designing new evaluation protocols. The code is available at: https://github.com/microsoft/promptbench and will be continuously supported.