PandaLM: Een Automatisch Evaluatiebenchmark voor LLM Instructieafstemming Optimalisatie

Samenvatting

Het afstemmen van grote taalmodellen (LLMs) op instructies blijft een uitdagende taak, vanwege de complexiteit van hyperparameterkeuze en de moeilijkheden bij het evalueren van de afgestemde modellen. Om de optimale hyperparameters te bepalen, is een automatisch, robuust en betrouwbaar evaluatiebenchmark essentieel. Het opzetten van zo'n benchmark is echter geen triviale taak vanwege de uitdagingen die gepaard gaan met evaluatienauwkeurigheid en privacybescherming. Als antwoord op deze uitdagingen introduceren we een beoordelend groot taalmodel, genaamd PandaLM, dat is getraind om het superieure model te onderscheiden uit meerdere LLMs. PandaLM richt zich niet alleen op de objectieve correctheid van antwoorden, wat de focus is van traditionele evaluatiedatasets, maar behandelt ook cruciale subjectieve factoren zoals relatieve beknoptheid, duidelijkheid, naleving van instructies, volledigheid en formaliteit. Om de betrouwbaarheid van PandaLM te waarborgen, verzamelen we een divers, door mensen geannoteerd testdataset, waarbij alle contexten door mensen zijn gegenereerd en de labels zijn afgestemd op menselijke voorkeuren. Onze resultaten tonen aan dat PandaLM-7B 93,75% van de evaluatiecapaciteit van GPT-3,5 en 88,28% van die van GPT-4 bereikt in termen van F1-score op onze testdataset. PandaLM maakt de evaluatie van LLMs eerlijker maar tegen lagere kosten, wat blijkt uit significante verbeteringen die worden bereikt door modellen die zijn afgestemd via PandaLM in vergelijking met hun tegenhangers die zijn getraind met de standaard hyperparameters van Alpaca. Bovendien is PandaLM niet afhankelijk van API-gebaseerde evaluaties, waardoor potentiële datalekken worden vermeden. Alle bronnen van PandaLM zijn vrijgegeven op https://github.com/WeOpenML/PandaLM.

English

Instruction tuning large language models (LLMs) remains a challenging task, owing to the complexity of hyperparameter selection and the difficulty involved in evaluating the tuned models. To determine the optimal hyperparameters, an automatic, robust, and reliable evaluation benchmark is essential. However, establishing such a benchmark is not a trivial task due to the challenges associated with evaluation accuracy and privacy protection. In response to these challenges, we introduce a judge large language model, named PandaLM, which is trained to distinguish the superior model given several LLMs. PandaLM's focus extends beyond just the objective correctness of responses, which is the main focus of traditional evaluation datasets. It addresses vital subjective factors such as relative conciseness, clarity, adherence to instructions, comprehensiveness, and formality. To ensure the reliability of PandaLM, we collect a diverse human-annotated test dataset, where all contexts are generated by humans and labels are aligned with human preferences. Our results indicate that PandaLM-7B achieves 93.75% of GPT-3.5's evaluation ability and 88.28% of GPT-4's in terms of F1-score on our test dataset. PandaLM enables the evaluation of LLM to be fairer but with less cost, evidenced by significant improvements achieved by models tuned through PandaLM compared to their counterparts trained with default Alpaca's hyperparameters. In addition, PandaLM does not depend on API-based evaluations, thus avoiding potential data leakage. All resources of PandaLM are released at https://github.com/WeOpenML/PandaLM.

PandaLM: Een Automatisch Evaluatiebenchmark voor LLM Instructieafstemming Optimalisatie

PandaLM: An Automatic Evaluation Benchmark for LLM Instruction Tuning Optimization

Samenvatting

Support