PandaLM: Автоматизированный эталонный тест для оценки настройки инструкций в крупных языковых моделях (LLM)

Аннотация

Настройка крупных языковых моделей (LLM) на выполнение инструкций остается сложной задачей из-за сложности выбора гиперпараметров и трудностей, связанных с оценкой настроенных моделей. Для определения оптимальных гиперпараметров необходим автоматический, надежный и достоверный эталон оценки. Однако создание такого эталона является нетривиальной задачей из-за проблем, связанных с точностью оценки и защитой конфиденциальности. В ответ на эти вызовы мы представляем судейскую языковую модель под названием PandaLM, которая обучена определять лучшую модель среди нескольких LLM. PandaLM фокусируется не только на объективной правильности ответов, что является основной задачей традиционных наборов данных для оценки, но также учитывает важные субъективные факторы, такие как относительная лаконичность, ясность, следование инструкциям, полнота и формальность. Чтобы обеспечить надежность PandaLM, мы собрали разнообразный тестовый набор данных с аннотациями, созданными людьми, где все контексты генерируются людьми, а метки соответствуют человеческим предпочтениям. Наши результаты показывают, что PandaLM-7B достигает 93,75% способности GPT-3.5 и 88,28% GPT-4 в терминах F1-меры на нашем тестовом наборе данных. PandaLM позволяет проводить оценку LLM более справедливо и с меньшими затратами, что подтверждается значительными улучшениями, достигнутыми моделями, настроенными с помощью PandaLM, по сравнению с их аналогами, обученными с гиперпараметрами по умолчанию Alpaca. Кроме того, PandaLM не зависит от API-оценок, что позволяет избежать потенциальной утечки данных. Все ресурсы PandaLM доступны по адресу https://github.com/WeOpenML/PandaLM.

English

Instruction tuning large language models (LLMs) remains a challenging task, owing to the complexity of hyperparameter selection and the difficulty involved in evaluating the tuned models. To determine the optimal hyperparameters, an automatic, robust, and reliable evaluation benchmark is essential. However, establishing such a benchmark is not a trivial task due to the challenges associated with evaluation accuracy and privacy protection. In response to these challenges, we introduce a judge large language model, named PandaLM, which is trained to distinguish the superior model given several LLMs. PandaLM's focus extends beyond just the objective correctness of responses, which is the main focus of traditional evaluation datasets. It addresses vital subjective factors such as relative conciseness, clarity, adherence to instructions, comprehensiveness, and formality. To ensure the reliability of PandaLM, we collect a diverse human-annotated test dataset, where all contexts are generated by humans and labels are aligned with human preferences. Our results indicate that PandaLM-7B achieves 93.75% of GPT-3.5's evaluation ability and 88.28% of GPT-4's in terms of F1-score on our test dataset. PandaLM enables the evaluation of LLM to be fairer but with less cost, evidenced by significant improvements achieved by models tuned through PandaLM compared to their counterparts trained with default Alpaca's hyperparameters. In addition, PandaLM does not depend on API-based evaluations, thus avoiding potential data leakage. All resources of PandaLM are released at https://github.com/WeOpenML/PandaLM.

PandaLM: Автоматизированный эталонный тест для оценки настройки инструкций в крупных языковых моделях (LLM)

PandaLM: An Automatic Evaluation Benchmark for LLM Instruction Tuning Optimization

Аннотация

Support