Wenn Skalierung auf LLM-Finetuning trifft: Der Einfluss von Daten, Modell und Finetuning-Methode

When Scaling Meets LLM Finetuning: The Effect of Data, Model and Finetuning Method

February 27, 2024

Autoren: Biao Zhang, Zhongtao Liu, Colin Cherry, Orhan Firat

cs.AI

Zusammenfassung

Während große Sprachmodelle (LLMs) häufig Feintuning verwenden, um ihre Fähigkeiten für nachgelagerte Anwendungen freizuschalten, ist unser Verständnis der induktiven Verzerrungen (insbesondere der Skalierungseigenschaften) verschiedener Feintuning-Methoden noch begrenzt. Um diese Lücke zu schließen, führen wir systematische Experimente durch, in denen wir untersuchen, ob und wie verschiedene Skalierungsfaktoren, einschließlich der Modellgröße des LLM, der Größe der Vortrainingsdaten, der Größe der neuen Feintuning-Parameter und der Größe der Feintuning-Daten, die Feintuning-Leistung beeinflussen. Wir betrachten zwei Arten von Feintuning – vollständiges Modelltuning (FMT) und parameter-effizientes Tuning (PET, einschließlich Prompt-Tuning und LoRA) – und untersuchen ihr Skalierungsverhalten im datenlimitierten Regime, in dem die Modellgröße des LLM die Größe der Feintuning-Daten erheblich übersteigt. Basierend auf zwei Sätzen vortrainierter bilingualer LLMs von 1B bis 16B und Experimenten mit Benchmarks für bilinguale maschinelle Übersetzung und mehrsprachige Zusammenfassung stellen wir fest, dass 1) das Feintuning von LLMs einem potenzbasierten multiplikativen gemeinsamen Skalierungsgesetz zwischen der Größe der Feintuning-Daten und jedem anderen Skalierungsfaktor folgt; 2) das Feintuning von LLMs mehr von der Skalierung der Modellgröße des LLM profitiert als von der Skalierung der Vortrainingsdaten, und die Skalierung der PET-Parameter im Allgemeinen unwirksam ist; und 3) die optimale Feintuning-Methode stark aufgaben- und feintuning-datenabhängig ist. Wir hoffen, dass unsere Erkenntnisse dazu beitragen können, das Verständnis, die Auswahl und die Entwicklung von Feintuning-Methoden für LLMs zu erleichtern.

English

While large language models (LLMs) often adopt finetuning to unlock their capabilities for downstream applications, our understanding on the inductive biases (especially the scaling properties) of different finetuning methods is still limited. To fill this gap, we conduct systematic experiments studying whether and how different scaling factors, including LLM model size, pretraining data size, new finetuning parameter size and finetuning data size, affect the finetuning performance. We consider two types of finetuning -- full-model tuning (FMT) and parameter efficient tuning (PET, including prompt tuning and LoRA), and explore their scaling behaviors in the data-limited regime where the LLM model size substantially outweighs the finetuning data size. Based on two sets of pretrained bilingual LLMs from 1B to 16B and experiments on bilingual machine translation and multilingual summarization benchmarks, we find that 1) LLM finetuning follows a powerbased multiplicative joint scaling law between finetuning data size and each other scaling factor; 2) LLM finetuning benefits more from LLM model scaling than pretraining data scaling, and PET parameter scaling is generally ineffective; and 3) the optimal finetuning method is highly task- and finetuning data-dependent. We hope our findings could shed light on understanding, selecting and developing LLM finetuning methods.