LlamaFactory: 100개 이상의 언어 모델을 위한 통합적이고 효율적인 미세 조정

LlamaFactory: Unified Efficient Fine-Tuning of 100+ Language Models

March 20, 2024

저자: Yaowei Zheng, Richong Zhang, Junhao Zhang, Yanhan Ye, Zheyan Luo

cs.AI

초록

대규모 언어 모델(LLM)을 하위 작업에 적응시키기 위해서는 효율적인 미세 조정이 필수적입니다. 그러나 이러한 방법들을 다양한 모델에 구현하려면 상당한 노력이 필요합니다. 우리는 LlamaFactory를 소개합니다. 이는 최첨단 효율적 학습 방법들을 통합한 통합 프레임워크로, 내장된 웹 UI인 LlamaBoard를 통해 코딩 없이도 100개 이상의 LLM을 유연하게 미세 조정할 수 있게 해줍니다. 우리는 언어 모델링 및 텍스트 생성 작업에서 이 프레임워크의 효율성과 효과를 실증적으로 검증했습니다. 이 프레임워크는 https://github.com/hiyouga/LLaMA-Factory에서 공개되었으며, 이미 13,000개 이상의 스타와 1,600개의 포크를 받았습니다.

English

Efficient fine-tuning is vital for adapting large language models (LLMs) to downstream tasks. However, it requires non-trivial efforts to implement these methods on different models. We present LlamaFactory, a unified framework that integrates a suite of cutting-edge efficient training methods. It allows users to flexibly customize the fine-tuning of 100+ LLMs without the need for coding through the built-in web UI LlamaBoard. We empirically validate the efficiency and effectiveness of our framework on language modeling and text generation tasks. It has been released at https://github.com/hiyouga/LLaMA-Factory and already received over 13,000 stars and 1,600 forks.