Quand la mise à l'échelle rencontre le fine-tuning des LLM : L'impact des données, du modèle et de la méthode de fine-tuning

When Scaling Meets LLM Finetuning: The Effect of Data, Model and Finetuning Method

February 27, 2024

Auteurs: Biao Zhang, Zhongtao Liu, Colin Cherry, Orhan Firat

cs.AI

Résumé

Alors que les grands modèles de langage (LLM) adoptent souvent le fine-tuning pour débloquer leurs capacités dans des applications en aval, notre compréhension des biais inductifs (en particulier les propriétés de mise à l'échelle) des différentes méthodes de fine-tuning reste limitée. Pour combler cette lacune, nous menons des expériences systématiques étudiant si et comment différents facteurs de mise à l'échelle, incluant la taille du modèle LLM, la taille des données de pré-entraînement, la taille des nouveaux paramètres de fine-tuning et la taille des données de fine-tuning, affectent les performances du fine-tuning. Nous considérons deux types de fine-tuning -- le réglage complet du modèle (FMT) et le réglage efficace en paramètres (PET, incluant le réglage par prompt et LoRA), et explorons leurs comportements de mise à l'échelle dans le régime limité en données où la taille du modèle LLM dépasse largement la taille des données de fine-tuning. Sur la base de deux ensembles de LLM bilingues pré-entraînés allant de 1B à 16B et d'expériences sur des benchmarks de traduction bilingue et de résumé multilingue, nous constatons que 1) le fine-tuning des LLM suit une loi de mise à l'échelle multiplicative basée sur une puissance entre la taille des données de fine-tuning et chaque autre facteur de mise à l'échelle ; 2) le fine-tuning des LLM bénéficie davantage de la mise à l'échelle de la taille du modèle LLM que de la mise à l'échelle des données de pré-entraînement, et la mise à l'échelle des paramètres PET est généralement inefficace ; et 3) la méthode de fine-tuning optimale dépend fortement de la tâche et des données de fine-tuning. Nous espérons que nos résultats pourront éclairer la compréhension, la sélection et le développement des méthodes de fine-tuning des LLM.

English

While large language models (LLMs) often adopt finetuning to unlock their capabilities for downstream applications, our understanding on the inductive biases (especially the scaling properties) of different finetuning methods is still limited. To fill this gap, we conduct systematic experiments studying whether and how different scaling factors, including LLM model size, pretraining data size, new finetuning parameter size and finetuning data size, affect the finetuning performance. We consider two types of finetuning -- full-model tuning (FMT) and parameter efficient tuning (PET, including prompt tuning and LoRA), and explore their scaling behaviors in the data-limited regime where the LLM model size substantially outweighs the finetuning data size. Based on two sets of pretrained bilingual LLMs from 1B to 16B and experiments on bilingual machine translation and multilingual summarization benchmarks, we find that 1) LLM finetuning follows a powerbased multiplicative joint scaling law between finetuning data size and each other scaling factor; 2) LLM finetuning benefits more from LLM model scaling than pretraining data scaling, and PET parameter scaling is generally ineffective; and 3) the optimal finetuning method is highly task- and finetuning data-dependent. We hope our findings could shed light on understanding, selecting and developing LLM finetuning methods.