Platypus: Refinamento Rápido, Econômico e Poderoso de LLMs

Platypus: Quick, Cheap, and Powerful Refinement of LLMs

August 14, 2023

Autores: Ariel N. Lee, Cole J. Hunter, Nataniel Ruiz

cs.AI

Resumo

Apresentamos o Platypus, uma família de modelos de linguagem de grande escala (LLMs) ajustados e combinados que alcança o melhor desempenho e atualmente ocupa o primeiro lugar no Open LLM Leaderboard da HuggingFace na data de lançamento deste trabalho. Neste trabalho, descrevemos (1) nosso conjunto de dados curado Open-Platypus, que é um subconjunto de outros conjuntos de dados abertos e que disponibilizamos publicamente, (2) nosso processo de ajuste fino e combinação de módulos LoRA para preservar o forte conhecimento prévio dos LLMs pré-treinados, ao mesmo tempo em que trazemos conhecimentos específicos de domínio à tona, e (3) nossos esforços em verificar vazamentos de dados de teste e contaminação nos dados de treinamento, o que pode informar pesquisas futuras. Especificamente, a família Platypus alcança um desempenho robusto em métricas quantitativas de LLMs em diferentes tamanhos de modelos, liderando o Open LLM Leaderboard global enquanto utiliza apenas uma fração dos dados de ajuste fino e do poder computacional necessários para outros LLMs ajustados de ponta. Em particular, um modelo Platypus de 13B pode ser treinado em uma única GPU A100 usando 25 mil perguntas em 5 horas. Isso é um testemunho da qualidade do nosso conjunto de dados Open-Platypus e abre oportunidades para mais melhorias no campo. Página do projeto: https://platypus-llm.github.io

English

We present Platypus, a family of fine-tuned and merged Large Language Models (LLMs) that achieves the strongest performance and currently stands at first place in HuggingFace's Open LLM Leaderboard as of the release date of this work. In this work we describe (1) our curated dataset Open-Platypus, that is a subset of other open datasets and which we release to the public (2) our process of fine-tuning and merging LoRA modules in order to conserve the strong prior of pretrained LLMs, while bringing specific domain knowledge to the surface (3) our efforts in checking for test data leaks and contamination in the training data, which can inform future research. Specifically, the Platypus family achieves strong performance in quantitative LLM metrics across model sizes, topping the global Open LLM leaderboard while using just a fraction of the fine-tuning data and overall compute that are required for other state-of-the-art fine-tuned LLMs. In particular, a 13B Platypus model can be trained on a single A100 GPU using 25k questions in 5 hours. This is a testament of the quality of our Open-Platypus dataset, and opens opportunities for more improvements in the field. Project page: https://platypus-llm.github.io