Tuna: Ajuste de Instruções Utilizando Feedback de Modelos de Linguagem de Grande Escala

Tuna: Instruction Tuning using Feedback from Large Language Models

October 20, 2023

Autores: Haoran Li, Yiran Liu, Xingxing Zhang, Wei Lu, Furu Wei

cs.AI

Resumo

O ajuste fino de instruções em modelos de linguagem de grande escala (LLMs) de código aberto, como o LLaMA, utilizando saídas diretas de LLMs mais poderosos, como o Instruct-GPT e o GPT-4, mostrou-se uma maneira eficiente em termos de custo para alinhar os comportamentos dos modelos com as preferências humanas. No entanto, o modelo ajustado por instruções viu apenas uma resposta por instrução, carecendo do conhecimento de respostas potencialmente melhores. Neste artigo, propomos o ajuste fino de um LLM ajustado por instruções utilizando nossas novas abordagens de classificação probabilística e classificação contextual para aumentar a probabilidade de gerar respostas melhores. A classificação probabilística permite que o modelo ajustado por instruções herde as classificações relativas de respostas de alta e baixa qualidade do LLM professor. Por outro lado, o aprendizado com classificação contextual permite que o modelo refine sua própria distribuição de respostas utilizando a capacidade de compreensão contextual de LLMs mais fortes. Além disso, aplicamos a classificação probabilística e a classificação contextual sequencialmente ao LLM ajustado por instruções. O modelo resultante, que chamamos de Tuna, melhora consistentemente o desempenho em Super Natural Instructions (119 tarefas de teste), LMentry (25 tarefas de teste), Vicuna QA, e pode até obter resultados melhores do que várias linhas de base fortes de aprendizado por reforço. Nosso código e dados estão disponíveis em https://github.com/microsoft/LMOps.

English

Instruction tuning of open-source large language models (LLMs) like LLaMA, using direct outputs from more powerful LLMs such as Instruct-GPT and GPT-4, has proven to be a cost-effective way to align model behaviors with human preferences. However, the instruction-tuned model has only seen one response per instruction, lacking the knowledge of potentially better responses. In this paper, we propose finetuning an instruction-tuned LLM using our novel probabilistic ranking and contextual ranking approaches to increase the likelihood of generating better responses. Probabilistic ranking enables the instruction-tuned model to inherit the relative rankings of high-quality and low-quality responses from the teacher LLM. On the other hand, learning with contextual ranking allows the model to refine its own response distribution using the contextual understanding ability of stronger LLMs. Furthermore, we apply probabilistic ranking and contextual ranking sequentially to the instruction-tuned LLM. The resulting model, which we call Tuna, consistently improves the performance on Super Natural Instructions (119 test tasks), LMentry (25 test tasks), Vicuna QA, and can even obtain better results than several strong reinforcement learning baselines. Our code and data are available at https://github.com/microsoft/LMOps.