Platypus: Schnelle, kostengünstige und leistungsstarke Verfeinerung von LLMs

Platypus: Quick, Cheap, and Powerful Refinement of LLMs

August 14, 2023

Autoren: Ariel N. Lee, Cole J. Hunter, Nataniel Ruiz

cs.AI

Zusammenfassung

Wir präsentieren Platypus, eine Familie von feinabgestimmten und fusionierten Large Language Models (LLMs), die die stärkste Leistung erzielt und derzeit an erster Stelle auf HuggingFaces Open LLM Leaderboard steht, gemessen am Veröffentlichungsdatum dieser Arbeit. In dieser Arbeit beschreiben wir (1) unser kuratiertes Dataset Open-Platypus, das eine Teilmenge anderer offener Datensätze ist und das wir der Öffentlichkeit zur Verfügung stellen, (2) unseren Prozess der Feinabstimmung und Fusion von LoRA-Modulen, um das starke Vorwissen vortrainierter LLMs zu bewahren, während spezifisches Domänenwissen an die Oberfläche gebracht wird, (3) unsere Bemühungen, Testdatenlecks und Kontaminationen in den Trainingsdaten zu überprüfen, was zukünftige Forschung informieren kann. Insbesondere erzielt die Platypus-Familie starke Leistungen in quantitativen LLM-Metriken über verschiedene Modellgrößen hinweg und führt die globale Open LLM-Rangliste an, während nur ein Bruchteil der Feinabstimmungsdaten und des gesamten Rechenaufwands benötigt wird, die für andere state-of-the-art feinabgestimmte LLMs erforderlich sind. Insbesondere kann ein 13B-Platypus-Modell auf einer einzelnen A100-GPU mit 25.000 Fragen in 5 Stunden trainiert werden. Dies ist ein Beleg für die Qualität unseres Open-Platypus-Datensatzes und eröffnet Möglichkeiten für weitere Verbesserungen in diesem Bereich. Projektseite: https://platypus-llm.github.io

English

We present Platypus, a family of fine-tuned and merged Large Language Models (LLMs) that achieves the strongest performance and currently stands at first place in HuggingFace's Open LLM Leaderboard as of the release date of this work. In this work we describe (1) our curated dataset Open-Platypus, that is a subset of other open datasets and which we release to the public (2) our process of fine-tuning and merging LoRA modules in order to conserve the strong prior of pretrained LLMs, while bringing specific domain knowledge to the surface (3) our efforts in checking for test data leaks and contamination in the training data, which can inform future research. Specifically, the Platypus family achieves strong performance in quantitative LLM metrics across model sizes, topping the global Open LLM leaderboard while using just a fraction of the fine-tuning data and overall compute that are required for other state-of-the-art fine-tuned LLMs. In particular, a 13B Platypus model can be trained on a single A100 GPU using 25k questions in 5 hours. This is a testament of the quality of our Open-Platypus dataset, and opens opportunities for more improvements in the field. Project page: https://platypus-llm.github.io