Mejorando los Modelos de Lenguaje para Chat mediante la Escalabilidad de Conversaciones Instruccionales de Alta Calidad

Enhancing Chat Language Models by Scaling High-quality Instructional Conversations

May 23, 2023

Autores: Ning Ding, Yulin Chen, Bokai Xu, Yujia Qin, Zhi Zheng, Shengding Hu, Zhiyuan Liu, Maosong Sun, Bowen Zhou

cs.AI

Resumen

El ajuste fino (fine-tuning) sobre datos de instrucción ha sido ampliamente validado como una práctica efectiva para implementar modelos de lenguaje conversacional como ChatGPT. Escalar la diversidad y calidad de dichos datos, aunque sencillo, tiene una gran probabilidad de conducir a un mejor rendimiento. Este artículo tiene como objetivo mejorar aún más el límite superior de los modelos de código abierto. Primero, presentamos un conjunto de datos de conversaciones instructivas, UltraChat, diseñado de manera sistemática, diverso, informativo y a gran escala, que no involucra consultas humanas. Nuestro objetivo es capturar la amplitud de interacciones que un humano podría tener con un asistente de IA y empleamos un marco integral para generar conversaciones de múltiples turnos de manera iterativa. UltraChat contiene 1.5 millones de diálogos de alta calidad con múltiples turnos y cubre una amplia gama de temas e instrucciones. Nuestro análisis estadístico de UltraChat revela su superioridad en varias métricas clave, como escala, longitud promedio, diversidad, coherencia, etc., consolidando su posición como un conjunto de datos de código abierto líder. Basándonos en UltraChat, ajustamos un modelo LLaMA para crear un potente modelo conversacional, UltraLLaMA. Nuestras evaluaciones indican que UltraLLaMA supera consistentemente a otros modelos de código abierto, incluido Vicuna, el modelo de código abierto previamente reconocido como el estado del arte. El conjunto de datos y el modelo se lanzarán públicamente en \url{https://github.com/thunlp/UltraChat}.

English

Fine-tuning on instruction data has been widely validated as an effective practice for implementing chat language models like ChatGPT. Scaling the diversity and quality of such data, although straightforward, stands a great chance of leading to improved performance. This paper aims to improve the upper bound of open-source models further. We first provide a systematically designed, diverse, informative, large-scale dataset of instructional conversations, UltraChat, which does not involve human queries. Our objective is to capture the breadth of interactions that a human might have with an AI assistant and employs a comprehensive framework to generate multi-turn conversation iteratively. UltraChat contains 1.5 million high-quality multi-turn dialogues and covers a wide range of topics and instructions. Our statistical analysis of UltraChat reveals its superiority in various key metrics, including scale, average length, diversity, coherence, etc., solidifying its position as a leading open-source dataset. Building upon UltraChat, we fine-tune a LLaMA model to create a powerful conversational model, UltraLLaMA. Our evaluations indicate that UltraLLaMA consistently outperforms other open-source models, including Vicuna, the previously recognized state-of-the-art open-source model. The dataset and the model will be publicly released\url{https://github.com/thunlp/UltraChat}.