PandaLM: Un Benchmark di Valutazione Automatica per l'Ottimizzazione del Fine-Tuning delle Istruzioni nei Modelli Linguistici

Abstract

Il tuning delle istruzioni per i grandi modelli linguistici (LLM) rimane un compito impegnativo, a causa della complessità nella selezione degli iperparametri e delle difficoltà legate alla valutazione dei modelli ottimizzati. Per determinare gli iperparametri ottimali, è essenziale disporre di un benchmark di valutazione automatico, robusto e affidabile. Tuttavia, stabilire un tale benchmark non è un compito banale, a causa delle sfide legate all'accuratezza della valutazione e alla protezione della privacy. In risposta a queste sfide, introduciamo un modello linguistico di giudizio, denominato PandaLM, addestrato per distinguere il modello superiore tra diversi LLM. L'attenzione di PandaLM si estende oltre la semplice correttezza oggettiva delle risposte, che è il focus principale dei tradizionali dataset di valutazione. Esso affronta fattori soggettivi cruciali come la relativa concisione, chiarezza, aderenza alle istruzioni, completezza e formalità. Per garantire l'affidabilità di PandaLM, raccogliamo un dataset di test diversificato e annotato manualmente, in cui tutti i contesti sono generati da esseri umani e le etichette sono allineate con le preferenze umane. I nostri risultati indicano che PandaLM-7B raggiunge il 93,75% della capacità di valutazione di GPT-3.5 e l'88,28% di GPT-4 in termini di F1-score sul nostro dataset di test. PandaLM consente una valutazione più equa degli LLM con costi ridotti, come dimostrato dai significativi miglioramenti ottenuti dai modelli ottimizzati tramite PandaLM rispetto alle loro controparti addestrate con gli iperparametri predefiniti di Alpaca. Inoltre, PandaLM non dipende da valutazioni basate su API, evitando così potenziali perdite di dati. Tutte le risorse di PandaLM sono rilasciate su https://github.com/WeOpenML/PandaLM.

English

Instruction tuning large language models (LLMs) remains a challenging task, owing to the complexity of hyperparameter selection and the difficulty involved in evaluating the tuned models. To determine the optimal hyperparameters, an automatic, robust, and reliable evaluation benchmark is essential. However, establishing such a benchmark is not a trivial task due to the challenges associated with evaluation accuracy and privacy protection. In response to these challenges, we introduce a judge large language model, named PandaLM, which is trained to distinguish the superior model given several LLMs. PandaLM's focus extends beyond just the objective correctness of responses, which is the main focus of traditional evaluation datasets. It addresses vital subjective factors such as relative conciseness, clarity, adherence to instructions, comprehensiveness, and formality. To ensure the reliability of PandaLM, we collect a diverse human-annotated test dataset, where all contexts are generated by humans and labels are aligned with human preferences. Our results indicate that PandaLM-7B achieves 93.75% of GPT-3.5's evaluation ability and 88.28% of GPT-4's in terms of F1-score on our test dataset. PandaLM enables the evaluation of LLM to be fairer but with less cost, evidenced by significant improvements achieved by models tuned through PandaLM compared to their counterparts trained with default Alpaca's hyperparameters. In addition, PandaLM does not depend on API-based evaluations, thus avoiding potential data leakage. All resources of PandaLM are released at https://github.com/WeOpenML/PandaLM.

PandaLM: Un Benchmark di Valutazione Automatica per l'Ottimizzazione del Fine-Tuning delle Istruzioni nei Modelli Linguistici

PandaLM: An Automatic Evaluation Benchmark for LLM Instruction Tuning Optimization

Abstract

Support