Quando a Escalabilidade Encontra o Ajuste Fino de LLMs: O Efeito dos Dados, do Modelo e do Método de Ajuste Fino

When Scaling Meets LLM Finetuning: The Effect of Data, Model and Finetuning Method

February 27, 2024

Autores: Biao Zhang, Zhongtao Liu, Colin Cherry, Orhan Firat

cs.AI

Resumo

Embora os grandes modelos de linguagem (LLMs) frequentemente adotem o ajuste fino (finetuning) para desbloquear suas capacidades em aplicações subsequentes, nossa compreensão sobre os vieses indutivos (especialmente as propriedades de escalonamento) de diferentes métodos de ajuste fino ainda é limitada. Para preencher essa lacuna, conduzimos experimentos sistemáticos estudando se e como diferentes fatores de escalonamento, incluindo o tamanho do modelo LLM, o tamanho dos dados de pré-treinamento, o tamanho dos novos parâmetros de ajuste fino e o tamanho dos dados de ajuste fino, afetam o desempenho do ajuste fino. Consideramos dois tipos de ajuste fino -- ajuste de modelo completo (FMT) e ajuste eficiente em parâmetros (PET, incluindo ajuste de prompt e LoRA) -- e exploramos seus comportamentos de escalonamento no regime de dados limitados, onde o tamanho do modelo LLM supera substancialmente o tamanho dos dados de ajuste fino. Com base em dois conjuntos de LLMs bilíngues pré-treinados de 1B a 16B e experimentos em benchmarks de tradução automática bilíngue e sumarização multilingue, descobrimos que: 1) o ajuste fino de LLMs segue uma lei de escalonamento conjunta multiplicativa baseada em potência entre o tamanho dos dados de ajuste fino e cada outro fator de escalonamento; 2) o ajuste fino de LLMs se beneficia mais do escalonamento do tamanho do modelo LLM do que do escalonamento dos dados de pré-treinamento, e o escalonamento de parâmetros PET é geralmente ineficaz; e 3) o método de ajuste fino ideal é altamente dependente da tarefa e dos dados de ajuste fino. Esperamos que nossas descobertas possam esclarecer a compreensão, seleção e desenvolvimento de métodos de ajuste fino para LLMs.

English

While large language models (LLMs) often adopt finetuning to unlock their capabilities for downstream applications, our understanding on the inductive biases (especially the scaling properties) of different finetuning methods is still limited. To fill this gap, we conduct systematic experiments studying whether and how different scaling factors, including LLM model size, pretraining data size, new finetuning parameter size and finetuning data size, affect the finetuning performance. We consider two types of finetuning -- full-model tuning (FMT) and parameter efficient tuning (PET, including prompt tuning and LoRA), and explore their scaling behaviors in the data-limited regime where the LLM model size substantially outweighs the finetuning data size. Based on two sets of pretrained bilingual LLMs from 1B to 16B and experiments on bilingual machine translation and multilingual summarization benchmarks, we find that 1) LLM finetuning follows a powerbased multiplicative joint scaling law between finetuning data size and each other scaling factor; 2) LLM finetuning benefits more from LLM model scaling than pretraining data scaling, and PET parameter scaling is generally ineffective; and 3) the optimal finetuning method is highly task- and finetuning data-dependent. We hope our findings could shed light on understanding, selecting and developing LLM finetuning methods.