PromptBench: Унифицированная библиотека для оценки больших языковых моделей

PromptBench: A Unified Library for Evaluation of Large Language Models

December 13, 2023

Авторы: Kaijie Zhu, Qinlin Zhao, Hao Chen, Jindong Wang, Xing Xie

cs.AI

Аннотация

Оценка больших языковых моделей (LLM) имеет решающее значение для анализа их производительности и снижения потенциальных рисков безопасности. В данной статье мы представляем PromptBench — унифицированную библиотеку для оценки LLM. Она включает несколько ключевых компонентов, которые легко использовать и расширять исследователям: создание промптов, инженерию промптов, загрузку наборов данных и моделей, атаки с использованием вредоносных промптов, динамические протоколы оценки и инструменты анализа. PromptBench разработан как открытая, универсальная и гибкая кодовая база для исследовательских целей, которая может способствовать оригинальным исследованиям в создании новых бенчмарков, развертывании прикладных решений и разработке новых протоколов оценки. Код доступен по адресу: https://github.com/microsoft/promptbench и будет постоянно поддерживаться.

English

The evaluation of large language models (LLMs) is crucial to assess their performance and mitigate potential security risks. In this paper, we introduce PromptBench, a unified library to evaluate LLMs. It consists of several key components that are easily used and extended by researchers: prompt construction, prompt engineering, dataset and model loading, adversarial prompt attack, dynamic evaluation protocols, and analysis tools. PromptBench is designed to be an open, general, and flexible codebase for research purposes that can facilitate original study in creating new benchmarks, deploying downstream applications, and designing new evaluation protocols. The code is available at: https://github.com/microsoft/promptbench and will be continuously supported.