Когда масштабирование встречается с тонкой настройкой языковых моделей: влияние данных, модели и метода настройки

When Scaling Meets LLM Finetuning: The Effect of Data, Model and Finetuning Method

February 27, 2024

Авторы: Biao Zhang, Zhongtao Liu, Colin Cherry, Orhan Firat

cs.AI

Аннотация

Хотя крупные языковые модели (LLM) часто используют тонкую настройку для раскрытия своих возможностей в прикладных задачах, наше понимание индуктивных смещений (особенно свойств масштабирования) различных методов тонкой настройки остается ограниченным. Чтобы заполнить этот пробел, мы проводим систематические эксперименты, изучая, влияют ли и как различные факторы масштабирования, включая размер модели LLM, объем данных предварительного обучения, количество новых параметров для тонкой настройки и объем данных для тонкой настройки, на эффективность тонкой настройки. Мы рассматриваем два типа тонкой настройки — полную настройку модели (FMT) и параметрически эффективную настройку (PET, включая настройку промптов и LoRA), и исследуем их поведение при масштабировании в условиях ограниченных данных, когда размер модели LLM значительно превышает объем данных для тонкой настройки. На основе двух наборов предварительно обученных двуязычных LLM размером от 1B до 16B и экспериментов на бенчмарках двуязычного машинного перевода и многоязычного суммаризации мы обнаруживаем, что: 1) тонкая настройка LLM следует степенному мультипликативному закону совместного масштабирования между объемом данных для тонкой настройки и каждым другим фактором масштабирования; 2) тонкая настройка LLM выигрывает больше от масштабирования размера модели, чем от масштабирования объема данных предварительного обучения, а масштабирование параметров PET в целом неэффективно; и 3) оптимальный метод тонкой настройки сильно зависит от задачи и объема данных для тонкой настройки. Мы надеемся, что наши результаты помогут лучше понять, выбирать и разрабатывать методы тонкой настройки LLM.

English

While large language models (LLMs) often adopt finetuning to unlock their capabilities for downstream applications, our understanding on the inductive biases (especially the scaling properties) of different finetuning methods is still limited. To fill this gap, we conduct systematic experiments studying whether and how different scaling factors, including LLM model size, pretraining data size, new finetuning parameter size and finetuning data size, affect the finetuning performance. We consider two types of finetuning -- full-model tuning (FMT) and parameter efficient tuning (PET, including prompt tuning and LoRA), and explore their scaling behaviors in the data-limited regime where the LLM model size substantially outweighs the finetuning data size. Based on two sets of pretrained bilingual LLMs from 1B to 16B and experiments on bilingual machine translation and multilingual summarization benchmarks, we find that 1) LLM finetuning follows a powerbased multiplicative joint scaling law between finetuning data size and each other scaling factor; 2) LLM finetuning benefits more from LLM model scaling than pretraining data scaling, and PET parameter scaling is generally ineffective; and 3) the optimal finetuning method is highly task- and finetuning data-dependent. We hope our findings could shed light on understanding, selecting and developing LLM finetuning methods.