Tuna: Настройка инструкций с использованием обратной связи от крупных языковых моделей

Tuna: Instruction Tuning using Feedback from Large Language Models

October 20, 2023

Авторы: Haoran Li, Yiran Liu, Xingxing Zhang, Wei Lu, Furu Wei

cs.AI

Аннотация

Настройка инструкций для открытых больших языковых моделей (LLM), таких как LLaMA, с использованием прямых выходных данных более мощных моделей, таких как Instruct-GPT и GPT-4, доказала свою эффективность как экономичный способ согласования поведения моделей с человеческими предпочтениями. Однако модель, настроенная на инструкции, видит только один ответ на каждую инструкцию, не имея представления о потенциально лучших ответах. В данной статье мы предлагаем донастройку модели, уже настроенной на инструкции, с использованием наших новых подходов вероятностного ранжирования и контекстного ранжирования, чтобы увеличить вероятность генерации более качественных ответов. Вероятностное ранжирование позволяет модели, настроенной на инструкции, унаследовать относительные ранги высококачественных и низкокачественных ответов от учительской LLM. С другой стороны, обучение с контекстным ранжированием позволяет модели уточнить распределение своих ответов, используя способность более мощных LLM к контекстному пониманию. Кроме того, мы последовательно применяем вероятностное и контекстное ранжирование к модели, настроенной на инструкции. Полученная модель, которую мы называем Tuna, последовательно улучшает производительность на задачах Super Natural Instructions (119 тестовых задач), LMentry (25 тестовых задач), Vicuna QA и даже может превзойти несколько сильных базовых моделей, обученных с подкреплением. Наш код и данные доступны по адресу https://github.com/microsoft/LMOps.

English

Instruction tuning of open-source large language models (LLMs) like LLaMA, using direct outputs from more powerful LLMs such as Instruct-GPT and GPT-4, has proven to be a cost-effective way to align model behaviors with human preferences. However, the instruction-tuned model has only seen one response per instruction, lacking the knowledge of potentially better responses. In this paper, we propose finetuning an instruction-tuned LLM using our novel probabilistic ranking and contextual ranking approaches to increase the likelihood of generating better responses. Probabilistic ranking enables the instruction-tuned model to inherit the relative rankings of high-quality and low-quality responses from the teacher LLM. On the other hand, learning with contextual ranking allows the model to refine its own response distribution using the contextual understanding ability of stronger LLMs. Furthermore, we apply probabilistic ranking and contextual ranking sequentially to the instruction-tuned LLM. The resulting model, which we call Tuna, consistently improves the performance on Super Natural Instructions (119 test tasks), LMentry (25 test tasks), Vicuna QA, and can even obtain better results than several strong reinforcement learning baselines. Our code and data are available at https://github.com/microsoft/LMOps.