Wanneer schaalbaarheid LLM-finetuning ontmoet: Het effect van data, model en finetuningmethode

When Scaling Meets LLM Finetuning: The Effect of Data, Model and Finetuning Method

February 27, 2024

Auteurs: Biao Zhang, Zhongtao Liu, Colin Cherry, Orhan Firat

cs.AI

Samenvatting

Hoewel grote taalmmodellen (LLM's) vaak finetuning toepassen om hun mogelijkheden voor downstream-toepassingen te ontgrendelen, is ons begrip van de inductieve biases (met name de schaaleigenschappen) van verschillende finetuningmethoden nog beperkt. Om deze kloof te dichten, voeren we systematische experimenten uit om te onderzoeken of en hoe verschillende schaalfactoren, waaronder de grootte van het LLM-model, de omvang van de pretrainingsgegevens, de grootte van nieuwe finetuningparameters en de omvang van de finetuninggegevens, de finetuningprestaties beïnvloeden. We beschouwen twee soorten finetuning -- volledige modelafstemming (FMT) en parameter-efficiënte afstemming (PET, inclusief prompt tuning en LoRA) -- en onderzoeken hun schaalgedrag in het data-beperkte regime waar de grootte van het LLM-model de omvang van de finetuninggegevens aanzienlijk overtreft. Op basis van twee sets van vooraf getrainde tweetalige LLM's van 1B tot 16B en experimenten op tweetalige machinevertaling en meertalige samenvattingsbenchmarks, vinden we dat 1) LLM-finetuning een op machtsverheffing gebaseerde multiplicatieve gezamenlijke schaalwet volgt tussen de omvang van de finetuninggegevens en elke andere schaalfactor; 2) LLM-finetuning meer baat heeft bij schaling van het LLM-model dan bij schaling van pretrainingsgegevens, en PET-parameterschaling over het algemeen niet effectief is; en 3) de optimale finetuningmethode sterk afhankelijk is van de taak en de finetuninggegevens. We hopen dat onze bevindingen inzicht kunnen bieden in het begrijpen, selecteren en ontwikkelen van LLM-finetuningmethoden.

English

While large language models (LLMs) often adopt finetuning to unlock their capabilities for downstream applications, our understanding on the inductive biases (especially the scaling properties) of different finetuning methods is still limited. To fill this gap, we conduct systematic experiments studying whether and how different scaling factors, including LLM model size, pretraining data size, new finetuning parameter size and finetuning data size, affect the finetuning performance. We consider two types of finetuning -- full-model tuning (FMT) and parameter efficient tuning (PET, including prompt tuning and LoRA), and explore their scaling behaviors in the data-limited regime where the LLM model size substantially outweighs the finetuning data size. Based on two sets of pretrained bilingual LLMs from 1B to 16B and experiments on bilingual machine translation and multilingual summarization benchmarks, we find that 1) LLM finetuning follows a powerbased multiplicative joint scaling law between finetuning data size and each other scaling factor; 2) LLM finetuning benefits more from LLM model scaling than pretraining data scaling, and PET parameter scaling is generally ineffective; and 3) the optimal finetuning method is highly task- and finetuning data-dependent. We hope our findings could shed light on understanding, selecting and developing LLM finetuning methods.