LlamaFactory: Объединенная эффективная настройка Fein-Tuning более 100 языковых моделей

LlamaFactory: Unified Efficient Fine-Tuning of 100+ Language Models

March 20, 2024

Авторы: Yaowei Zheng, Richong Zhang, Junhao Zhang, Yanhan Ye, Zheyan Luo

cs.AI

Аннотация

Эффективное донастройка является важным для адаптации крупных языковых моделей (КЯМ) к последующим задачам. Однако для реализации этих методов на различных моделях требуются значительные усилия. Мы представляем LlamaFactory, унифицированную платформу, которая интегрирует набор передовых методов эффективного обучения. Она позволяет пользователям гибко настраивать донастройку более чем 100 КЯМ без необходимости программирования с помощью встроенного веб-интерфейса LlamaBoard. Мы эмпирически подтверждаем эффективность и эффективность нашей платформы на задачах языкового моделирования и генерации текста. Она была выпущена по адресу https://github.com/hiyouga/LLaMA-Factory и уже получила более 13 000 звездочек и 1 600 форков.

English

Efficient fine-tuning is vital for adapting large language models (LLMs) to downstream tasks. However, it requires non-trivial efforts to implement these methods on different models. We present LlamaFactory, a unified framework that integrates a suite of cutting-edge efficient training methods. It allows users to flexibly customize the fine-tuning of 100+ LLMs without the need for coding through the built-in web UI LlamaBoard. We empirically validate the efficiency and effectiveness of our framework on language modeling and text generation tasks. It has been released at https://github.com/hiyouga/LLaMA-Factory and already received over 13,000 stars and 1,600 forks.