LlamaFactory : Réglage fin unifié et efficace de plus de 100 modèles de langage

LlamaFactory: Unified Efficient Fine-Tuning of 100+ Language Models

March 20, 2024

Auteurs: Yaowei Zheng, Richong Zhang, Junhao Zhang, Yanhan Ye, Zheyan Luo

cs.AI

Résumé

L'ajustement fin efficace est crucial pour adapter les grands modèles de langage (LLMs) à des tâches en aval. Cependant, la mise en œuvre de ces méthodes sur différents modèles nécessite des efforts non négligeables. Nous présentons LlamaFactory, un cadre unifié qui intègre une suite de méthodes d'entraînement efficaces de pointe. Il permet aux utilisateurs de personnaliser de manière flexible l'ajustement fin de plus de 100 LLMs sans avoir besoin de coder grâce à l'interface web intégrée LlamaBoard. Nous validons empiriquement l'efficacité et l'efficience de notre cadre sur des tâches de modélisation du langage et de génération de texte. Il a été publié à l'adresse https://github.com/hiyouga/LLaMA-Factory et a déjà reçu plus de 13 000 étoiles et 1 600 forks.

English

Efficient fine-tuning is vital for adapting large language models (LLMs) to downstream tasks. However, it requires non-trivial efforts to implement these methods on different models. We present LlamaFactory, a unified framework that integrates a suite of cutting-edge efficient training methods. It allows users to flexibly customize the fine-tuning of 100+ LLMs without the need for coding through the built-in web UI LlamaBoard. We empirically validate the efficiency and effectiveness of our framework on language modeling and text generation tasks. It has been released at https://github.com/hiyouga/LLaMA-Factory and already received over 13,000 stars and 1,600 forks.