PandaLM : Un benchmark d'évaluation automatique pour l'optimisation du réglage des instructions des modèles de langage

PandaLM: An Automatic Evaluation Benchmark for LLM Instruction Tuning Optimization

June 8, 2023

Auteurs: Yidong Wang, Zhuohao Yu, Zhengran Zeng, Linyi Yang, Cunxiang Wang, Hao Chen, Chaoya Jiang, Rui Xie, Jindong Wang, Xing Xie, Wei Ye, Shikun Zhang, Yue Zhang

cs.AI

Résumé

Le réglage par instruction des grands modèles de langage (LLMs) reste une tâche complexe, en raison de la difficulté de sélection des hyperparamètres et des défis liés à l'évaluation des modèles ajustés. Pour déterminer les hyperparamètres optimaux, un benchmark d'évaluation automatique, robuste et fiable est essentiel. Cependant, établir un tel benchmark n'est pas une tâche triviale, en raison des défis liés à la précision de l'évaluation et à la protection de la vie privée. Pour répondre à ces défis, nous introduisons un modèle de langage juge, nommé PandaLM, qui est entraîné à distinguer le modèle supérieur parmi plusieurs LLMs. L'objectif de PandaLM va au-delà de la simple exactitude objective des réponses, qui est le principal focus des jeux de données d'évaluation traditionnels. Il prend en compte des facteurs subjectifs cruciaux tels que la concision relative, la clarté, l'adhésion aux instructions, l'exhaustivité et le formalisme. Pour garantir la fiabilité de PandaLM, nous collectons un jeu de données de test diversifié annoté par des humains, où tous les contextes sont générés par des humains et les étiquettes sont alignées avec les préférences humaines. Nos résultats indiquent que PandaLM-7B atteint 93,75 % de la capacité d'évaluation de GPT-3.5 et 88,28 % de celle de GPT-4 en termes de score F1 sur notre jeu de données de test. PandaLM permet une évaluation des LLM plus équitable mais à moindre coût, comme en témoignent les améliorations significatives obtenues par les modèles ajustés via PandaLM par rapport à leurs homologues entraînés avec les hyperparamètres par défaut d'Alpaca. De plus, PandaLM ne dépend pas d'évaluations basées sur des API, évitant ainsi les risques de fuite de données. Toutes les ressources de PandaLM sont disponibles à l'adresse https://github.com/WeOpenML/PandaLM.

English

Instruction tuning large language models (LLMs) remains a challenging task, owing to the complexity of hyperparameter selection and the difficulty involved in evaluating the tuned models. To determine the optimal hyperparameters, an automatic, robust, and reliable evaluation benchmark is essential. However, establishing such a benchmark is not a trivial task due to the challenges associated with evaluation accuracy and privacy protection. In response to these challenges, we introduce a judge large language model, named PandaLM, which is trained to distinguish the superior model given several LLMs. PandaLM's focus extends beyond just the objective correctness of responses, which is the main focus of traditional evaluation datasets. It addresses vital subjective factors such as relative conciseness, clarity, adherence to instructions, comprehensiveness, and formality. To ensure the reliability of PandaLM, we collect a diverse human-annotated test dataset, where all contexts are generated by humans and labels are aligned with human preferences. Our results indicate that PandaLM-7B achieves 93.75% of GPT-3.5's evaluation ability and 88.28% of GPT-4's in terms of F1-score on our test dataset. PandaLM enables the evaluation of LLM to be fairer but with less cost, evidenced by significant improvements achieved by models tuned through PandaLM compared to their counterparts trained with default Alpaca's hyperparameters. In addition, PandaLM does not depend on API-based evaluations, thus avoiding potential data leakage. All resources of PandaLM are released at https://github.com/WeOpenML/PandaLM.