Seguire le istruzioni senza regolazione delle istruzioni.

Instruction Following without Instruction Tuning

September 21, 2024

Autori: John Hewitt, Nelson F. Liu, Percy Liang, Christopher D. Manning

cs.AI

Abstract

L'ottimizzazione dell'istruzione comunemente significa affinare un modello linguistico su coppie istruzione-risposta. Scopriamo due forme di adattamento (ottimizzazione) che sono carenti rispetto all'ottimizzazione dell'istruzione, ma che comunque producono il seguire l'istruzione; chiamiamo questo tipo di ottimizzazione implicita dell'istruzione. Innanzitutto, scopriamo che le coppie istruzione-risposta non sono necessarie: addestrare esclusivamente sulle risposte, senza istruzioni corrispondenti, porta comunque a seguire l'istruzione. Ciò suggerisce che i modelli preaddestrati hanno un mapping istruzione-risposta che viene rivelato insegnando al modello la distribuzione desiderata delle risposte. Tuttavia, scopriamo che non è necessario insegnare la distribuzione desiderata delle risposte: l'addestramento istruzione-risposta su dati di dominio ristretto come la poesia porta comunque a un comportamento generale di seguire l'istruzione come la generazione di ricette. In particolare, quando le istruzioni sono molto diverse da quelle nel dominio di affinamento ristretto, le risposte dei modelli non rispettano lo stile del dominio di affinamento. Per iniziare a spiegare l'ottimizzazione implicita dell'istruzione, ipotizziamo che cambiamenti molto semplici nella distribuzione di un modello linguistico portino al seguire l'istruzione. Supportiamo ciò scrivendo a mano un modello linguistico basato su regole che porta al seguire l'istruzione in un prodotto di esperti con un modello preaddestrato. Le regole sono aumentare lentamente la probabilità di terminare la sequenza, penalizzare la ripetizione e uniformemente modificare le probabilità di 15 parole. In sintesi, adattamenti effettuati senza essere progettati per portare al seguire l'istruzione possono farlo in modo implicito.

English

Instruction tuning commonly means finetuning a language model on instruction-response pairs. We discover two forms of adaptation (tuning) that are deficient compared to instruction tuning, yet still yield instruction following; we call this implicit instruction tuning. We first find that instruction-response pairs are not necessary: training solely on responses, without any corresponding instructions, yields instruction following. This suggests pretrained models have an instruction-response mapping which is revealed by teaching the model the desired distribution of responses. However, we then find it's not necessary to teach the desired distribution of responses: instruction-response training on narrow-domain data like poetry still leads to broad instruction-following behavior like recipe generation. In particular, when instructions are very different from those in the narrow finetuning domain, models' responses do not adhere to the style of the finetuning domain. To begin to explain implicit instruction tuning, we hypothesize that very simple changes to a language model's distribution yield instruction following. We support this by hand-writing a rule-based language model which yields instruction following in a product-of-experts with a pretrained model. The rules are to slowly increase the probability of ending the sequence, penalize repetition, and uniformly change 15 words' probabilities. In summary, adaptations made without being designed to yield instruction following can do so implicitly.