LlamaFactory: 100以上の言語モデルを統一的に効率的にファインチューニング

LlamaFactory: Unified Efficient Fine-Tuning of 100+ Language Models

March 20, 2024

著者: Yaowei Zheng, Richong Zhang, Junhao Zhang, Yanhan Ye, Zheyan Luo

cs.AI

要旨

大規模言語モデル（LLM）を下流タスクに適応させるためには、効率的なファインチューニングが不可欠です。しかし、異なるモデルに対してこれらの手法を実装するには多大な労力が必要です。本論文では、最先端の効率的なトレーニング手法を統合した統一フレームワーク「LlamaFactory」を提案します。このフレームワークは、組み込みのWeb UI「LlamaBoard」を通じて、100以上のLLMのファインチューニングをコーディングなしで柔軟にカスタマイズすることを可能にします。我々は、言語モデリングとテキスト生成タスクにおいて、本フレームワークの効率性と有効性を実証的に検証しました。本フレームワークはhttps://github.com/hiyouga/LLaMA-Factoryで公開されており、すでに13,000以上のスターと1,600以上のフォークを獲得しています。

English

Efficient fine-tuning is vital for adapting large language models (LLMs) to downstream tasks. However, it requires non-trivial efforts to implement these methods on different models. We present LlamaFactory, a unified framework that integrates a suite of cutting-edge efficient training methods. It allows users to flexibly customize the fine-tuning of 100+ LLMs without the need for coding through the built-in web UI LlamaBoard. We empirically validate the efficiency and effectiveness of our framework on language modeling and text generation tasks. It has been released at https://github.com/hiyouga/LLaMA-Factory and already received over 13,000 stars and 1,600 forks.