LlamaFactory: Ottimizzazione Efficiente Unificata per Oltre 100 Modelli Linguistici
LlamaFactory: Unified Efficient Fine-Tuning of 100+ Language Models
March 20, 2024
Autori: Yaowei Zheng, Richong Zhang, Junhao Zhang, Yanhan Ye, Zheyan Luo
cs.AI
Abstract
Il fine-tuning efficiente è fondamentale per adattare i grandi modelli linguistici (LLM) a compiti specifici. Tuttavia, implementare questi metodi su modelli diversi richiede sforzi non banali. Presentiamo LlamaFactory, un framework unificato che integra una suite di metodi di addestramento efficienti all'avanguardia. Consente agli utenti di personalizzare flessibilmente il fine-tuning di oltre 100 LLM senza la necessità di scrivere codice, grazie all'interfaccia web integrata LlamaBoard. Validiamo empiricamente l'efficienza e l'efficacia del nostro framework su compiti di modellazione linguistica e generazione di testo. È stato rilasciato su https://github.com/hiyouga/LLaMA-Factory e ha già ricevuto oltre 13.000 stelle e 1.600 fork.
English
Efficient fine-tuning is vital for adapting large language models (LLMs) to
downstream tasks. However, it requires non-trivial efforts to implement these
methods on different models. We present LlamaFactory, a unified framework that
integrates a suite of cutting-edge efficient training methods. It allows users
to flexibly customize the fine-tuning of 100+ LLMs without the need for coding
through the built-in web UI LlamaBoard. We empirically validate the efficiency
and effectiveness of our framework on language modeling and text generation
tasks. It has been released at https://github.com/hiyouga/LLaMA-Factory and
already received over 13,000 stars and 1,600 forks.