Een Emulator voor het Fine-Tunen van Grote Taalmodellen met behulp van Kleine Taalmodellen

An Emulator for Fine-Tuning Large Language Models using Small Language Models

October 19, 2023

Auteurs: Eric Mitchell, Rafael Rafailov, Archit Sharma, Chelsea Finn, Christopher D. Manning

cs.AI

Samenvatting

Veelgebruikte taalmodelen (LMs) worden doorgaans gebouwd door een tweestaps trainingspijplijn op te schalen: een voorafgaande trainingsfase die gebruikmaakt van een zeer grote, diverse dataset van tekst en een afstemmingsfase (soms 'alignment' genoemd) die gerichte voorbeelden of andere specificaties van gewenst gedrag gebruikt. Hoewel wordt verondersteld dat kennis en vaardigheden voortkomen uit de voorafgaande training, en dat afstemming vooral deze kennis en vaardigheden filtert, is deze intuïtie niet uitgebreid getest. Om dit te faciliteren, introduceren we een nieuwe techniek voor het ontkoppelen van de kennis en vaardigheden die in deze twee fasen worden verworven, waardoor een direct antwoord mogelijk wordt op de vraag: "Wat zou er gebeuren als we de kennis die een groot model tijdens de voorafgaande training heeft geleerd, combineren met de kennis die een klein model tijdens de afstemming heeft geleerd (of vice versa)?" Met behulp van een RL-gebaseerd raamwerk, afgeleid van recente ontwikkelingen in leren van menselijke voorkeuren, introduceren we geëmuleerde afstemming (EFT), een principiële en praktische methode voor het bemonsteren van een verdeling die het resultaat van voorafgaande training en afstemming op verschillende schalen benadert (of 'emuleert'). Onze experimenten met EFT laten zien dat het opschalen van afstemming de behulpzaamheid verbetert, terwijl het opschalen van voorafgaande training de feitelijkheid verbetert. Naast het ontkoppelen van schaal, tonen we aan dat EFT het mogelijk maakt om concurrerende gedragskenmerken zoals behulpzaamheid en onschadelijkheid tijdens de testtijd aan te passen zonder aanvullende training. Ten slotte vermijdt een speciaal geval van geëmuleerde afstemming, dat we LM up-scaling noemen, de resource-intensieve afstemming van grote vooraf getrainde modellen door ze te combineren met kleine afgestemde modellen, waardoor in feite het resultaat van het afstemmen van het grote vooraf getrainde model wordt geëmuleerd. Up-scaling verbetert consistent de behulpzaamheid en feitelijkheid van instructievolgende modellen in de Llama, Llama-2 en Falcon families, zonder aanvullende hyperparameters of training.

English

Widely used language models (LMs) are typically built by scaling up a two-stage training pipeline: a pre-training stage that uses a very large, diverse dataset of text and a fine-tuning (sometimes, 'alignment') stage that uses targeted examples or other specifications of desired behaviors. While it has been hypothesized that knowledge and skills come from pre-training, and fine-tuning mostly filters this knowledge and skillset, this intuition has not been extensively tested. To aid in doing so, we introduce a novel technique for decoupling the knowledge and skills gained in these two stages, enabling a direct answer to the question, "What would happen if we combined the knowledge learned by a large model during pre-training with the knowledge learned by a small model during fine-tuning (or vice versa)?" Using an RL-based framework derived from recent developments in learning from human preferences, we introduce emulated fine-tuning (EFT), a principled and practical method for sampling from a distribution that approximates (or 'emulates') the result of pre-training and fine-tuning at different scales. Our experiments with EFT show that scaling up fine-tuning tends to improve helpfulness, while scaling up pre-training tends to improve factuality. Beyond decoupling scale, we show that EFT enables test-time adjustment of competing behavioral traits like helpfulness and harmlessness without additional training. Finally, a special case of emulated fine-tuning, which we call LM up-scaling, avoids resource-intensive fine-tuning of large pre-trained models by ensembling them with small fine-tuned models, essentially emulating the result of fine-tuning the large pre-trained model. Up-scaling consistently improves helpfulness and factuality of instruction-following models in the Llama, Llama-2, and Falcon families, without additional hyperparameters or training.