LlamaFactory: Vereinheitlichtes, effizientes Feintuning von über 100 Sprachmodellen

LlamaFactory: Unified Efficient Fine-Tuning of 100+ Language Models

March 20, 2024

Autoren: Yaowei Zheng, Richong Zhang, Junhao Zhang, Yanhan Ye, Zheyan Luo

cs.AI

Zusammenfassung

Effizientes Feintuning ist entscheidend für die Anpassung großer Sprachmodelle (LLMs) an nachgelagerte Aufgaben. Es erfordert jedoch erhebliche Anstrengungen, diese Methoden auf verschiedenen Modellen zu implementieren. Wir stellen LlamaFactory vor, ein einheitliches Framework, das eine Reihe modernster effizienter Schulungsmethoden integriert. Es ermöglicht Benutzern, das Feintuning von über 100 LLMs flexibel anzupassen, ohne dass Programmierung erforderlich ist, über das integrierte Web-UI LlamaBoard. Wir validieren empirisch die Effizienz und Wirksamkeit unseres Frameworks bei der Sprachmodellierung und Textgenerierungsaufgaben. Es wurde unter https://github.com/hiyouga/LLaMA-Factory veröffentlicht und hat bereits über 13.000 Sterne und 1.600 Forks erhalten.

English

Efficient fine-tuning is vital for adapting large language models (LLMs) to downstream tasks. However, it requires non-trivial efforts to implement these methods on different models. We present LlamaFactory, a unified framework that integrates a suite of cutting-edge efficient training methods. It allows users to flexibly customize the fine-tuning of 100+ LLMs without the need for coding through the built-in web UI LlamaBoard. We empirically validate the efficiency and effectiveness of our framework on language modeling and text generation tasks. It has been released at https://github.com/hiyouga/LLaMA-Factory and already received over 13,000 stars and 1,600 forks.