LlamaFactory: Uniforme en Efficiënte Fine-Tuning van 100+ Taalmodellen
LlamaFactory: Unified Efficient Fine-Tuning of 100+ Language Models
March 20, 2024
Auteurs: Yaowei Zheng, Richong Zhang, Junhao Zhang, Yanhan Ye, Zheyan Luo
cs.AI
Samenvatting
Efficiëne fine-tuning is essentieel voor het aanpassen van grote taalmodelen (LLM's) aan downstream taken. Het implementeren van deze methoden op verschillende modellen vereist echter aanzienlijke inspanningen. Wij presenteren LlamaFactory, een uniform raamwerk dat een reeks geavanceerde efficiënte trainingsmethoden integreert. Het stelt gebruikers in staat om de fine-tuning van meer dan 100 LLM's flexibel aan te passen zonder te hoeven programmeren, dankzij de ingebouwde webinterface LlamaBoard. We valideren empirisch de efficiëntie en effectiviteit van ons raamwerk voor taken op het gebied van taalmodellering en tekstgeneratie. Het is vrijgegeven op https://github.com/hiyouga/LLaMA-Factory en heeft al meer dan 13.000 sterren en 1.600 forks ontvangen.
English
Efficient fine-tuning is vital for adapting large language models (LLMs) to
downstream tasks. However, it requires non-trivial efforts to implement these
methods on different models. We present LlamaFactory, a unified framework that
integrates a suite of cutting-edge efficient training methods. It allows users
to flexibly customize the fine-tuning of 100+ LLMs without the need for coding
through the built-in web UI LlamaBoard. We empirically validate the efficiency
and effectiveness of our framework on language modeling and text generation
tasks. It has been released at https://github.com/hiyouga/LLaMA-Factory and
already received over 13,000 stars and 1,600 forks.