Amélioration des modèles de langage conversationnel par la mise à l'échelle de conversations pédagogiques de haute qualité

Enhancing Chat Language Models by Scaling High-quality Instructional Conversations

May 23, 2023

Auteurs: Ning Ding, Yulin Chen, Bokai Xu, Yujia Qin, Zhi Zheng, Shengding Hu, Zhiyuan Liu, Maosong Sun, Bowen Zhou

cs.AI

Résumé

Le fine-tuning sur des données d'instructions a été largement validé comme une pratique efficace pour la mise en œuvre de modèles de langage conversationnels tels que ChatGPT. L'augmentation de la diversité et de la qualité de ces données, bien que simple, offre une grande probabilité d'améliorer les performances. Cet article vise à repousser encore plus loin les limites des modèles open-source. Nous présentons d'abord un ensemble de données systématiquement conçu, diversifié, informatif et à grande échelle de conversations instructives, UltraChat, qui ne repose pas sur des requêtes humaines. Notre objectif est de capturer l'étendue des interactions qu'un humain pourrait avoir avec un assistant IA, en utilisant un cadre complet pour générer itérativement des conversations multi-tours. UltraChat contient 1,5 million de dialogues multi-tours de haute qualité et couvre un large éventail de sujets et d'instructions. Notre analyse statistique d'UltraChat révèle sa supériorité dans diverses métriques clés, notamment l'échelle, la longueur moyenne, la diversité, la cohérence, etc., consolidant sa position comme un ensemble de données open-source de premier plan. En nous appuyant sur UltraChat, nous effectuons un fine-tuning d'un modèle LLaMA pour créer un modèle conversationnel puissant, UltraLLaMA. Nos évaluations indiquent qu'UltraLLaMA surpasse systématiquement d'autres modèles open-source, y compris Vicuna, précédemment reconnu comme le modèle open-source de pointe. Le jeu de données et le modèle seront rendus publics à l'adresse \url{https://github.com/thunlp/UltraChat}.

English

Fine-tuning on instruction data has been widely validated as an effective practice for implementing chat language models like ChatGPT. Scaling the diversity and quality of such data, although straightforward, stands a great chance of leading to improved performance. This paper aims to improve the upper bound of open-source models further. We first provide a systematically designed, diverse, informative, large-scale dataset of instructional conversations, UltraChat, which does not involve human queries. Our objective is to capture the breadth of interactions that a human might have with an AI assistant and employs a comprehensive framework to generate multi-turn conversation iteratively. UltraChat contains 1.5 million high-quality multi-turn dialogues and covers a wide range of topics and instructions. Our statistical analysis of UltraChat reveals its superiority in various key metrics, including scale, average length, diversity, coherence, etc., solidifying its position as a leading open-source dataset. Building upon UltraChat, we fine-tune a LLaMA model to create a powerful conversational model, UltraLLaMA. Our evaluations indicate that UltraLLaMA consistently outperforms other open-source models, including Vicuna, the previously recognized state-of-the-art open-source model. The dataset and the model will be publicly released\url{https://github.com/thunlp/UltraChat}.