LlamaFactory: Ajuste Fino Unificado y Eficiente de Más de 100 Modelos de Lenguaje

LlamaFactory: Unified Efficient Fine-Tuning of 100+ Language Models

March 20, 2024

Autores: Yaowei Zheng, Richong Zhang, Junhao Zhang, Yanhan Ye, Zheyan Luo

cs.AI

Resumen

El ajuste fino eficiente es crucial para adaptar los grandes modelos de lenguaje (LLMs) a tareas específicas. Sin embargo, implementar estos métodos en diferentes modelos requiere esfuerzos considerables. Presentamos LlamaFactory, un marco unificado que integra un conjunto de métodos de entrenamiento eficiente de vanguardia. Permite a los usuarios personalizar de manera flexible el ajuste fino de más de 100 LLMs sin necesidad de codificación, a través de la interfaz web integrada LlamaBoard. Validamos empíricamente la eficiencia y efectividad de nuestro marco en tareas de modelado de lenguaje y generación de texto. Ha sido publicado en https://github.com/hiyouga/LLaMA-Factory y ya ha recibido más de 13,000 estrellas y 1,600 bifurcaciones.

English

Efficient fine-tuning is vital for adapting large language models (LLMs) to downstream tasks. However, it requires non-trivial efforts to implement these methods on different models. We present LlamaFactory, a unified framework that integrates a suite of cutting-edge efficient training methods. It allows users to flexibly customize the fine-tuning of 100+ LLMs without the need for coding through the built-in web UI LlamaBoard. We empirically validate the efficiency and effectiveness of our framework on language modeling and text generation tasks. It has been released at https://github.com/hiyouga/LLaMA-Factory and already received over 13,000 stars and 1,600 forks.