PromptBench: Una Biblioteca Unificada para la Evaluación de Modelos de Lenguaje de Gran Escala

PromptBench: A Unified Library for Evaluation of Large Language Models

December 13, 2023

Autores: Kaijie Zhu, Qinlin Zhao, Hao Chen, Jindong Wang, Xing Xie

cs.AI

Resumen

La evaluación de los modelos de lenguaje de gran escala (LLMs, por sus siglas en inglés) es crucial para valorar su rendimiento y mitigar posibles riesgos de seguridad. En este artículo, presentamos PromptBench, una biblioteca unificada para evaluar LLMs. Esta consta de varios componentes clave que son fáciles de usar y extender por parte de los investigadores: construcción de prompts, ingeniería de prompts, carga de conjuntos de datos y modelos, ataques adversarios mediante prompts, protocolos de evaluación dinámica y herramientas de análisis. PromptBench está diseñado para ser un código abierto, general y flexible con fines de investigación, que puede facilitar estudios originales en la creación de nuevos puntos de referencia, el despliegue de aplicaciones derivadas y el diseño de nuevos protocolos de evaluación. El código está disponible en: https://github.com/microsoft/promptbench y será continuamente actualizado.

English

The evaluation of large language models (LLMs) is crucial to assess their performance and mitigate potential security risks. In this paper, we introduce PromptBench, a unified library to evaluate LLMs. It consists of several key components that are easily used and extended by researchers: prompt construction, prompt engineering, dataset and model loading, adversarial prompt attack, dynamic evaluation protocols, and analysis tools. PromptBench is designed to be an open, general, and flexible codebase for research purposes that can facilitate original study in creating new benchmarks, deploying downstream applications, and designing new evaluation protocols. The code is available at: https://github.com/microsoft/promptbench and will be continuously supported.