PandaLM: Um Benchmark de Avaliação Automática para Otimização de Ajuste de Instruções em LLMs

Resumo

O ajuste por instrução de grandes modelos de linguagem (LLMs) continua sendo uma tarefa desafiadora, devido à complexidade da seleção de hiperparâmetros e à dificuldade envolvida na avaliação dos modelos ajustados. Para determinar os hiperparâmetros ideais, um benchmark de avaliação automático, robusto e confiável é essencial. No entanto, estabelecer tal benchmark não é uma tarefa trivial devido aos desafios associados à precisão da avaliação e à proteção de privacidade. Em resposta a esses desafios, introduzimos um modelo de linguagem grande como juiz, denominado PandaLM, que é treinado para distinguir o modelo superior entre vários LLMs. O foco do PandaLM vai além da correção objetiva das respostas, que é o principal foco dos conjuntos de dados de avaliação tradicionais. Ele aborda fatores subjetivos cruciais, como concisão relativa, clareza, aderência às instruções, abrangência e formalidade. Para garantir a confiabilidade do PandaLM, coletamos um conjunto de dados de teste diversificado e anotado por humanos, onde todos os contextos são gerados por humanos e os rótulos estão alinhados com as preferências humanas. Nossos resultados indicam que o PandaLM-7B alcança 93,75% da capacidade de avaliação do GPT-3.5 e 88,28% do GPT-4 em termos de pontuação F1 em nosso conjunto de dados de teste. O PandaLM permite que a avaliação de LLMs seja mais justa, mas com menor custo, evidenciado por melhorias significativas alcançadas por modelos ajustados por meio do PandaLM em comparação com seus equivalentes treinados com os hiperparâmetros padrão do Alpaca. Além disso, o PandaLM não depende de avaliações baseadas em API, evitando assim possíveis vazamentos de dados. Todos os recursos do PandaLM são disponibilizados em https://github.com/WeOpenML/PandaLM.

English

Instruction tuning large language models (LLMs) remains a challenging task, owing to the complexity of hyperparameter selection and the difficulty involved in evaluating the tuned models. To determine the optimal hyperparameters, an automatic, robust, and reliable evaluation benchmark is essential. However, establishing such a benchmark is not a trivial task due to the challenges associated with evaluation accuracy and privacy protection. In response to these challenges, we introduce a judge large language model, named PandaLM, which is trained to distinguish the superior model given several LLMs. PandaLM's focus extends beyond just the objective correctness of responses, which is the main focus of traditional evaluation datasets. It addresses vital subjective factors such as relative conciseness, clarity, adherence to instructions, comprehensiveness, and formality. To ensure the reliability of PandaLM, we collect a diverse human-annotated test dataset, where all contexts are generated by humans and labels are aligned with human preferences. Our results indicate that PandaLM-7B achieves 93.75% of GPT-3.5's evaluation ability and 88.28% of GPT-4's in terms of F1-score on our test dataset. PandaLM enables the evaluation of LLM to be fairer but with less cost, evidenced by significant improvements achieved by models tuned through PandaLM compared to their counterparts trained with default Alpaca's hyperparameters. In addition, PandaLM does not depend on API-based evaluations, thus avoiding potential data leakage. All resources of PandaLM are released at https://github.com/WeOpenML/PandaLM.

PandaLM: Um Benchmark de Avaliação Automática para Otimização de Ajuste de Instruções em LLMs

PandaLM: An Automatic Evaluation Benchmark for LLM Instruction Tuning Optimization

Resumo

Support