Tuna: Instruktionsfeinabstimmung unter Verwendung von Feedback großer Sprachmodelle

Tuna: Instruction Tuning using Feedback from Large Language Models

October 20, 2023

Autoren: Haoran Li, Yiran Liu, Xingxing Zhang, Wei Lu, Furu Wei

cs.AI

Zusammenfassung

Das Instruction Tuning von Open-Source-Großsprachmodellen (LLMs) wie LLaMA unter Verwendung direkter Ausgaben leistungsstärkerer LLMs wie Instruct-GPT und GPT-4 hat sich als kosteneffiziente Methode erwiesen, um das Modellverhalten an menschliche Präferenzen anzupassen. Allerdings hat das instruction-getunte Modell nur eine Antwort pro Anweisung gesehen und verfügt nicht über das Wissen über potenziell bessere Antworten. In diesem Artikel schlagen wir vor, ein instruction-getuntes LLM mithilfe unserer neuartigen Ansätze des probabilistischen Rankings und des kontextuellen Rankings zu feintunen, um die Wahrscheinlichkeit der Generierung besserer Antworten zu erhöhen. Das probabilistische Ranking ermöglicht es dem instruction-getunten Modell, die relativen Bewertungen von hochwertigen und minderwertigen Antworten vom Lehrer-LLM zu übernehmen. Andererseits ermöglicht das Lernen mit kontextuellem Ranking dem Modell, seine eigene Antwortverteilung mithilfe des kontextuellen Verständnisvermögens stärkerer LLMs zu verfeinern. Darüber hinaus wenden wir probabilistisches Ranking und kontextuelles Ranking sequenziell auf das instruction-getunte LLM an. Das resultierende Modell, das wir Tuna nennen, verbessert kontinuierlich die Leistung bei Super Natural Instructions (119 Testaufgaben), LMentry (25 Testaufgaben), Vicuna QA und kann sogar bessere Ergebnisse als mehrere starke Reinforcement-Learning-Baselines erzielen. Unser Code und unsere Daten sind verfügbar unter https://github.com/microsoft/LMOps.

English

Instruction tuning of open-source large language models (LLMs) like LLaMA, using direct outputs from more powerful LLMs such as Instruct-GPT and GPT-4, has proven to be a cost-effective way to align model behaviors with human preferences. However, the instruction-tuned model has only seen one response per instruction, lacking the knowledge of potentially better responses. In this paper, we propose finetuning an instruction-tuned LLM using our novel probabilistic ranking and contextual ranking approaches to increase the likelihood of generating better responses. Probabilistic ranking enables the instruction-tuned model to inherit the relative rankings of high-quality and low-quality responses from the teacher LLM. On the other hand, learning with contextual ranking allows the model to refine its own response distribution using the contextual understanding ability of stronger LLMs. Furthermore, we apply probabilistic ranking and contextual ranking sequentially to the instruction-tuned LLM. The resulting model, which we call Tuna, consistently improves the performance on Super Natural Instructions (119 test tasks), LMentry (25 test tasks), Vicuna QA, and can even obtain better results than several strong reinforcement learning baselines. Our code and data are available at https://github.com/microsoft/LMOps.