Cuando el escalado se encuentra con el ajuste fino de LLM: El efecto de los datos, el modelo y el método de ajuste fino

When Scaling Meets LLM Finetuning: The Effect of Data, Model and Finetuning Method

February 27, 2024

Autores: Biao Zhang, Zhongtao Liu, Colin Cherry, Orhan Firat

cs.AI

Resumen

Si bien los modelos de lenguaje de gran escala (LLMs, por sus siglas en inglés) suelen adoptar el ajuste fino (finetuning) para desbloquear sus capacidades en aplicaciones posteriores, nuestra comprensión sobre los sesgos inductivos (especialmente las propiedades de escalabilidad) de los diferentes métodos de ajuste fino sigue siendo limitada. Para llenar este vacío, realizamos experimentos sistemáticos para estudiar si y cómo diferentes factores de escalabilidad, incluidos el tamaño del modelo LLM, el tamaño de los datos de preentrenamiento, el tamaño de los nuevos parámetros de ajuste fino y el tamaño de los datos de ajuste fino, afectan el rendimiento del ajuste fino. Consideramos dos tipos de ajuste fino: el ajuste completo del modelo (FMT, por sus siglas en inglés) y el ajuste eficiente de parámetros (PET, que incluye el ajuste de prompts y LoRA), y exploramos sus comportamientos de escalabilidad en el régimen de datos limitados, donde el tamaño del modelo LLM supera sustancialmente el tamaño de los datos de ajuste fino. Basándonos en dos conjuntos de LLMs bilingües preentrenados que van desde 1B hasta 16B y experimentos en benchmarks de traducción automática bilingüe y resumen multilingüe, encontramos que: 1) el ajuste fino de LLMs sigue una ley de escalabilidad conjunta multiplicativa basada en potencias entre el tamaño de los datos de ajuste fino y cada uno de los otros factores de escalabilidad; 2) el ajuste fino de LLMs se beneficia más del escalado del tamaño del modelo LLM que del escalado de los datos de preentrenamiento, y el escalado de parámetros PET es generalmente ineficaz; y 3) el método de ajuste fino óptimo depende en gran medida de la tarea y de los datos de ajuste fino. Esperamos que nuestros hallazgos puedan arrojar luz sobre la comprensión, selección y desarrollo de métodos de ajuste fino para LLMs.

English

While large language models (LLMs) often adopt finetuning to unlock their capabilities for downstream applications, our understanding on the inductive biases (especially the scaling properties) of different finetuning methods is still limited. To fill this gap, we conduct systematic experiments studying whether and how different scaling factors, including LLM model size, pretraining data size, new finetuning parameter size and finetuning data size, affect the finetuning performance. We consider two types of finetuning -- full-model tuning (FMT) and parameter efficient tuning (PET, including prompt tuning and LoRA), and explore their scaling behaviors in the data-limited regime where the LLM model size substantially outweighs the finetuning data size. Based on two sets of pretrained bilingual LLMs from 1B to 16B and experiments on bilingual machine translation and multilingual summarization benchmarks, we find that 1) LLM finetuning follows a powerbased multiplicative joint scaling law between finetuning data size and each other scaling factor; 2) LLM finetuning benefits more from LLM model scaling than pretraining data scaling, and PET parameter scaling is generally ineffective; and 3) the optimal finetuning method is highly task- and finetuning data-dependent. We hope our findings could shed light on understanding, selecting and developing LLM finetuning methods.