Platypus: LLMの迅速かつ低コストで強力な改良手法

要旨

本研究では、Platypusファミリーを紹介します。これは、微調整とマージを施した大規模言語モデル（LLM）の一群であり、本作の公開日時点でHuggingFaceのOpen LLM Leaderboardにおいて最強の性能を達成し、首位を獲得しています。本論文では、(1) 他の公開データセットのサブセットであるOpen-Platypusデータセットを精選し、一般公開すること、(2) 事前学習済みLLMの強力な事前知識を保持しつつ、特定のドメイン知識を表面化させるためにLoRAモジュールを微調整・マージするプロセス、(3) トレーニングデータにおけるテストデータの漏洩や汚染をチェックする取り組みについて説明します。これらは今後の研究に役立つ情報を提供します。特に、Platypusファミリーは、モデルサイズを問わず、定量的なLLMメトリクスにおいて優れた性能を発揮し、他の最先端の微調整済みLLMに必要な微調整データ量や計算量の一部のみを使用しながら、グローバルなOpen LLMリーダーボードのトップに立っています。具体的には、13BのPlatypusモデルは、単一のA100 GPUを使用して25,000の質問を5時間でトレーニングすることが可能です。これは、我々のOpen-Platypusデータセットの質の高さを示すものであり、この分野におけるさらなる改善の機会を開くものです。プロジェクトページ: https://platypus-llm.github.io

English

We present Platypus, a family of fine-tuned and merged Large Language Models (LLMs) that achieves the strongest performance and currently stands at first place in HuggingFace's Open LLM Leaderboard as of the release date of this work. In this work we describe (1) our curated dataset Open-Platypus, that is a subset of other open datasets and which we release to the public (2) our process of fine-tuning and merging LoRA modules in order to conserve the strong prior of pretrained LLMs, while bringing specific domain knowledge to the surface (3) our efforts in checking for test data leaks and contamination in the training data, which can inform future research. Specifically, the Platypus family achieves strong performance in quantitative LLM metrics across model sizes, topping the global Open LLM leaderboard while using just a fraction of the fine-tuning data and overall compute that are required for other state-of-the-art fine-tuned LLMs. In particular, a 13B Platypus model can be trained on a single A100 GPU using 25k questions in 5 hours. This is a testament of the quality of our Open-Platypus dataset, and opens opportunities for more improvements in the field. Project page: https://platypus-llm.github.io

Platypus: LLMの迅速かつ低コストで強力な改良手法

Platypus: Quick, Cheap, and Powerful Refinement of LLMs

要旨

Support