Эмулятор для тонкой настройки больших языковых моделей с использованием малых языковых моделей

An Emulator for Fine-Tuning Large Language Models using Small Language Models

October 19, 2023

Авторы: Eric Mitchell, Rafael Rafailov, Archit Sharma, Chelsea Finn, Christopher D. Manning

cs.AI

Аннотация

Широко используемые языковые модели (LM) обычно создаются путем масштабирования двухэтапного процесса обучения: этапа предварительного обучения, который использует очень большой и разнообразный набор текстовых данных, и этапа тонкой настройки (иногда называемого "согласованием"), который использует целевые примеры или другие спецификации желаемого поведения. Хотя предполагается, что знания и навыки формируются на этапе предварительного обучения, а тонкая настройка в основном фильтрует эти знания и навыки, эта интуиция не была тщательно проверена. Чтобы помочь в этом, мы представляем новый метод разделения знаний и навыков, полученных на этих двух этапах, что позволяет напрямую ответить на вопрос: "Что произойдет, если мы объединим знания, полученные большой моделью на этапе предварительного обучения, с знаниями, полученными маленькой моделью на этапе тонкой настройки (или наоборот)?" Используя основанную на RL (обучении с подкреплением) структуру, разработанную на основе последних достижений в обучении с учетом человеческих предпочтений, мы вводим эмулированную тонкую настройку (Emulated Fine-Tuning, EFT) — принципиальный и практический метод выборки из распределения, которое аппроксимирует (или "эмулирует") результат предварительного обучения и тонкой настройки на разных масштабах. Наши эксперименты с EFT показывают, что масштабирование тонкой настройки обычно улучшает полезность, а масштабирование предварительного обучения — достоверность. Помимо разделения масштаба, мы показываем, что EFT позволяет настраивать конкурирующие поведенческие характеристики, такие как полезность и безопасность, во время тестирования без дополнительного обучения. Наконец, частный случай эмулированной тонкой настройки, который мы называем масштабированием LM, позволяет избежать ресурсоемкой тонкой настройки больших предварительно обученных моделей, объединяя их с маленькими тонко настроенными моделями, по сути эмулируя результат тонкой настройки большой предварительно обученной модели. Масштабирование последовательно улучшает полезность и достоверность моделей, следующих инструкциям, в семействах Llama, Llama-2 и Falcon, без дополнительных гиперпараметров или обучения.

English

Widely used language models (LMs) are typically built by scaling up a two-stage training pipeline: a pre-training stage that uses a very large, diverse dataset of text and a fine-tuning (sometimes, 'alignment') stage that uses targeted examples or other specifications of desired behaviors. While it has been hypothesized that knowledge and skills come from pre-training, and fine-tuning mostly filters this knowledge and skillset, this intuition has not been extensively tested. To aid in doing so, we introduce a novel technique for decoupling the knowledge and skills gained in these two stages, enabling a direct answer to the question, "What would happen if we combined the knowledge learned by a large model during pre-training with the knowledge learned by a small model during fine-tuning (or vice versa)?" Using an RL-based framework derived from recent developments in learning from human preferences, we introduce emulated fine-tuning (EFT), a principled and practical method for sampling from a distribution that approximates (or 'emulates') the result of pre-training and fine-tuning at different scales. Our experiments with EFT show that scaling up fine-tuning tends to improve helpfulness, while scaling up pre-training tends to improve factuality. Beyond decoupling scale, we show that EFT enables test-time adjustment of competing behavioral traits like helpfulness and harmlessness without additional training. Finally, a special case of emulated fine-tuning, which we call LM up-scaling, avoids resource-intensive fine-tuning of large pre-trained models by ensembling them with small fine-tuned models, essentially emulating the result of fine-tuning the large pre-trained model. Up-scaling consistently improves helpfulness and factuality of instruction-following models in the Llama, Llama-2, and Falcon families, without additional hyperparameters or training.