スケーリングがLLMファインチューニングに出会うとき：データ、モデル、ファインチューニング手法の影響

When Scaling Meets LLM Finetuning: The Effect of Data, Model and Finetuning Method

February 27, 2024

著者: Biao Zhang, Zhongtao Liu, Colin Cherry, Orhan Firat

cs.AI

要旨

大規模言語モデル（LLM）は、下流アプリケーションでの能力を引き出すためにファインチューニングを採用することが多いが、異なるファインチューニング手法の帰納的バイアス（特にスケーリング特性）に関する理解はまだ限られている。このギャップを埋めるため、我々は体系的に実験を行い、LLMのモデルサイズ、事前学習データサイズ、新たなファインチューニングパラメータサイズ、ファインチューニングデータサイズといった異なるスケーリング要因が、ファインチューニング性能にどのように影響するかを調査した。我々は、フルモデルチューニング（FMT）とパラメータ効率的チューニング（PET、プロンプトチューニングとLoRAを含む）の2種類のファインチューニングを考慮し、LLMモデルサイズがファインチューニングデータサイズを大幅に上回るデータ制限領域におけるそれらのスケーリング挙動を探った。1Bから16Bまでの2セットの事前学習済みバイリンガルLLMと、バイリンガル機械翻訳および多言語要約ベンチマークでの実験に基づき、以下のことを発見した：1）LLMファインチューニングは、ファインチューニングデータサイズと他の各スケーリング要因との間にべき乗的な乗法的結合スケーリング則に従う；2）LLMファインチューニングは、事前学習データのスケーリングよりもLLMモデルのスケーリングからより多くの恩恵を受け、PETパラメータのスケーリングは一般的に効果的でない；3）最適なファインチューニング手法は、タスクとファインチューニングデータに強く依存する。我々の発見が、LLMファインチューニング手法の理解、選択、開発に光を当てることを期待する。

English

While large language models (LLMs) often adopt finetuning to unlock their capabilities for downstream applications, our understanding on the inductive biases (especially the scaling properties) of different finetuning methods is still limited. To fill this gap, we conduct systematic experiments studying whether and how different scaling factors, including LLM model size, pretraining data size, new finetuning parameter size and finetuning data size, affect the finetuning performance. We consider two types of finetuning -- full-model tuning (FMT) and parameter efficient tuning (PET, including prompt tuning and LoRA), and explore their scaling behaviors in the data-limited regime where the LLM model size substantially outweighs the finetuning data size. Based on two sets of pretrained bilingual LLMs from 1B to 16B and experiments on bilingual machine translation and multilingual summarization benchmarks, we find that 1) LLM finetuning follows a powerbased multiplicative joint scaling law between finetuning data size and each other scaling factor; 2) LLM finetuning benefits more from LLM model scaling than pretraining data scaling, and PET parameter scaling is generally ineffective; and 3) the optimal finetuning method is highly task- and finetuning data-dependent. We hope our findings could shed light on understanding, selecting and developing LLM finetuning methods.