Tuna: Ajuste de Instrucciones utilizando Retroalimentación de Modelos de Lenguaje de Gran Escala

Tuna: Instruction Tuning using Feedback from Large Language Models

October 20, 2023

Autores: Haoran Li, Yiran Liu, Xingxing Zhang, Wei Lu, Furu Wei

cs.AI

Resumen

El ajuste por instrucciones de modelos de lenguaje grandes (LLMs) de código abierto como LLaMA, utilizando salidas directas de LLMs más potentes como Instruct-GPT y GPT-4, ha demostrado ser una forma rentable de alinear los comportamientos del modelo con las preferencias humanas. Sin embargo, el modelo ajustado por instrucciones solo ha visto una respuesta por instrucción, careciendo del conocimiento de respuestas potencialmente mejores. En este artículo, proponemos ajustar un LLM previamente ajustado por instrucciones utilizando nuestros enfoques novedosos de clasificación probabilística y clasificación contextual para aumentar la probabilidad de generar respuestas mejores. La clasificación probabilística permite que el modelo ajustado por instrucciones herede las clasificaciones relativas de respuestas de alta y baja calidad del LLM maestro. Por otro lado, el aprendizaje con clasificación contextual permite que el modelo refine su propia distribución de respuestas utilizando la capacidad de comprensión contextual de LLMs más fuertes. Además, aplicamos secuencialmente la clasificación probabilística y la clasificación contextual al LLM ajustado por instrucciones. El modelo resultante, al que llamamos Tuna, mejora consistentemente el rendimiento en Super Natural Instructions (119 tareas de prueba), LMentry (25 tareas de prueba), Vicuna QA, e incluso puede obtener mejores resultados que varias líneas base fuertes de aprendizaje por refuerzo. Nuestro código y datos están disponibles en https://github.com/microsoft/LMOps.

English

Instruction tuning of open-source large language models (LLMs) like LLaMA, using direct outputs from more powerful LLMs such as Instruct-GPT and GPT-4, has proven to be a cost-effective way to align model behaviors with human preferences. However, the instruction-tuned model has only seen one response per instruction, lacking the knowledge of potentially better responses. In this paper, we propose finetuning an instruction-tuned LLM using our novel probabilistic ranking and contextual ranking approaches to increase the likelihood of generating better responses. Probabilistic ranking enables the instruction-tuned model to inherit the relative rankings of high-quality and low-quality responses from the teacher LLM. On the other hand, learning with contextual ranking allows the model to refine its own response distribution using the contextual understanding ability of stronger LLMs. Furthermore, we apply probabilistic ranking and contextual ranking sequentially to the instruction-tuned LLM. The resulting model, which we call Tuna, consistently improves the performance on Super Natural Instructions (119 test tasks), LMentry (25 test tasks), Vicuna QA, and can even obtain better results than several strong reinforcement learning baselines. Our code and data are available at https://github.com/microsoft/LMOps.