PromptBench: Uma Biblioteca Unificada para Avaliação de Modelos de Linguagem de Grande Escala

PromptBench: A Unified Library for Evaluation of Large Language Models

December 13, 2023

Autores: Kaijie Zhu, Qinlin Zhao, Hao Chen, Jindong Wang, Xing Xie

cs.AI

Resumo

A avaliação de modelos de linguagem de grande escala (LLMs) é crucial para mensurar seu desempenho e mitigar possíveis riscos de segurança. Neste artigo, apresentamos o PromptBench, uma biblioteca unificada para avaliar LLMs. Ele consiste em vários componentes-chave que são facilmente utilizados e estendidos por pesquisadores: construção de prompts, engenharia de prompts, carregamento de datasets e modelos, ataques adversariais de prompts, protocolos de avaliação dinâmica e ferramentas de análise. O PromptBench foi projetado para ser uma base de código aberta, geral e flexível para fins de pesquisa, capaz de facilitar estudos originais na criação de novos benchmarks, implantação de aplicações downstream e design de novos protocolos de avaliação. O código está disponível em: https://github.com/microsoft/promptbench e será continuamente suportado.

English

The evaluation of large language models (LLMs) is crucial to assess their performance and mitigate potential security risks. In this paper, we introduce PromptBench, a unified library to evaluate LLMs. It consists of several key components that are easily used and extended by researchers: prompt construction, prompt engineering, dataset and model loading, adversarial prompt attack, dynamic evaluation protocols, and analysis tools. PromptBench is designed to be an open, general, and flexible codebase for research purposes that can facilitate original study in creating new benchmarks, deploying downstream applications, and designing new evaluation protocols. The code is available at: https://github.com/microsoft/promptbench and will be continuously supported.