Tuna: Instructieafstemming met behulp van feedback van grote taalmodellen

Tuna: Instruction Tuning using Feedback from Large Language Models

October 20, 2023

Auteurs: Haoran Li, Yiran Liu, Xingxing Zhang, Wei Lu, Furu Wei

cs.AI

Samenvatting

Instruction tuning van open-source grote taalmodellen (LLMs) zoals LLaMA, met behulp van directe uitvoer van krachtigere LLMs zoals Instruct-GPT en GPT-4, heeft zich bewezen als een kosteneffectieve manier om modelgedrag af te stemmen op menselijke voorkeuren. Het instruction-tuned model heeft echter slechts één reactie per instructie gezien, zonder kennis van mogelijk betere reacties. In dit artikel stellen we voor om een instruction-tuned LLM te finetunen met behulp van onze nieuwe probabilistische ranking en contextuele ranking benaderingen om de kans op het genereren van betere reacties te vergroten. Probabilistische ranking stelt het instruction-tuned model in staat om de relatieve rangschikking van hoogwaardige en laagwaardige reacties van het leraren-LLM over te nemen. Aan de andere kant stelt leren met contextuele ranking het model in staat om zijn eigen reactieverdeling te verfijnen met behulp van het contextuele begripsvermogen van sterkere LLMs. Bovendien passen we probabilistische ranking en contextuele ranking sequentieel toe op het instruction-tuned LLM. Het resulterende model, dat we Tuna noemen, verbetert consistent de prestaties op Super Natural Instructions (119 testtaken), LMentry (25 testtaken), Vicuna QA, en kan zelfs betere resultaten behalen dan verschillende sterke reinforcement learning-baselines. Onze code en gegevens zijn beschikbaar op https://github.com/microsoft/LMOps.

English

Instruction tuning of open-source large language models (LLMs) like LLaMA, using direct outputs from more powerful LLMs such as Instruct-GPT and GPT-4, has proven to be a cost-effective way to align model behaviors with human preferences. However, the instruction-tuned model has only seen one response per instruction, lacking the knowledge of potentially better responses. In this paper, we propose finetuning an instruction-tuned LLM using our novel probabilistic ranking and contextual ranking approaches to increase the likelihood of generating better responses. Probabilistic ranking enables the instruction-tuned model to inherit the relative rankings of high-quality and low-quality responses from the teacher LLM. On the other hand, learning with contextual ranking allows the model to refine its own response distribution using the contextual understanding ability of stronger LLMs. Furthermore, we apply probabilistic ranking and contextual ranking sequentially to the instruction-tuned LLM. The resulting model, which we call Tuna, consistently improves the performance on Super Natural Instructions (119 test tasks), LMentry (25 test tasks), Vicuna QA, and can even obtain better results than several strong reinforcement learning baselines. Our code and data are available at https://github.com/microsoft/LMOps.