PromptBench : Une Bibliothèque Unifiée pour l'Évaluation des Grands Modèles de Langage

PromptBench: A Unified Library for Evaluation of Large Language Models

December 13, 2023

Auteurs: Kaijie Zhu, Qinlin Zhao, Hao Chen, Jindong Wang, Xing Xie

cs.AI

Résumé

L'évaluation des grands modèles de langage (LLMs) est cruciale pour mesurer leurs performances et atténuer les risques de sécurité potentiels. Dans cet article, nous présentons PromptBench, une bibliothèque unifiée pour évaluer les LLMs. Elle comprend plusieurs composants clés facilement utilisables et extensibles par les chercheurs : construction de prompts, ingénierie de prompts, chargement de jeux de données et de modèles, attaques adverses par prompts, protocoles d'évaluation dynamiques et outils d'analyse. PromptBench est conçu pour être une base de code ouverte, générale et flexible à des fins de recherche, facilitant les études originales dans la création de nouveaux benchmarks, le déploiement d'applications en aval et la conception de nouveaux protocoles d'évaluation. Le code est disponible à l'adresse : https://github.com/microsoft/promptbench et sera continuellement maintenu.

English

The evaluation of large language models (LLMs) is crucial to assess their performance and mitigate potential security risks. In this paper, we introduce PromptBench, a unified library to evaluate LLMs. It consists of several key components that are easily used and extended by researchers: prompt construction, prompt engineering, dataset and model loading, adversarial prompt attack, dynamic evaluation protocols, and analysis tools. PromptBench is designed to be an open, general, and flexible codebase for research purposes that can facilitate original study in creating new benchmarks, deploying downstream applications, and designing new evaluation protocols. The code is available at: https://github.com/microsoft/promptbench and will be continuously supported.