Données synthétiques (presque) à partir de zéro : Ajustement généralisé des instructions pour les modèles de langage

Synthetic Data (Almost) from Scratch: Generalized Instruction Tuning for Language Models

February 20, 2024

Auteurs: Haoran Li, Qingxiu Dong, Zhengyang Tang, Chaojun Wang, Xingxing Zhang, Haoyang Huang, Shaohan Huang, Xiaolong Huang, Zeqiang Huang, Dongdong Zhang, Yuxian Gu, Xin Cheng, Xun Wang, Si-Qing Chen, Li Dong, Wei Lu, Zhifang Sui, Benyou Wang, Wai Lam, Furu Wei

cs.AI

Résumé

Nous présentons le réglage d'instructions généralisé (appelé GLAN), une méthode générale et évolutive pour le réglage d'instructions des grands modèles de langage (LLMs). Contrairement aux travaux antérieurs qui s'appuient sur des exemples de départ ou des ensembles de données existants pour construire des données de réglage d'instructions, GLAN utilise exclusivement une taxonomie pré-établie des connaissances et capacités humaines comme entrée et génère des données d'instructions synthétiques à grande échelle couvrant toutes les disciplines. Plus précisément, inspirés par la structure systématique du système éducatif humain, nous construisons la taxonomie en décomposant les connaissances et capacités humaines en divers domaines, sous-domaines et, finalement, disciplines distinctes de manière semi-automatique, facilitée par les LLMs. Par la suite, nous générons une liste exhaustive de sujets pour chaque discipline et procédons à la conception d'un programme d'études adapté à chaque sujet, en utilisant à nouveau les LLMs. Avec les concepts clés détaillés dans chaque session de cours du programme, nous sommes en mesure de générer des instructions variées couvrant un large spectre de connaissances et de compétences humaines. Des expériences approfondies sur des grands modèles de langage (par exemple, Mistral) démontrent que GLAN excelle dans de multiples dimensions, allant du raisonnement mathématique, de la programmation, des examens académiques, du raisonnement logique à la compréhension générale d'instructions, sans utiliser de données d'entraînement spécifiques à ces tâches. De plus, GLAN permet une personnalisation facile et de nouveaux domaines ou compétences peuvent être ajoutés en intégrant simplement un nouveau nœud dans notre taxonomie.

English

We introduce Generalized Instruction Tuning (called GLAN), a general and scalable method for instruction tuning of Large Language Models (LLMs). Unlike prior work that relies on seed examples or existing datasets to construct instruction tuning data, GLAN exclusively utilizes a pre-curated taxonomy of human knowledge and capabilities as input and generates large-scale synthetic instruction data across all disciplines. Specifically, inspired by the systematic structure in human education system, we build the taxonomy by decomposing human knowledge and capabilities to various fields, sub-fields and ultimately, distinct disciplines semi-automatically, facilitated by LLMs. Subsequently, we generate a comprehensive list of subjects for every discipline and proceed to design a syllabus tailored to each subject, again utilizing LLMs. With the fine-grained key concepts detailed in every class session of the syllabus, we are able to generate diverse instructions with a broad coverage across the entire spectrum of human knowledge and skills. Extensive experiments on large language models (e.g., Mistral) demonstrate that GLAN excels in multiple dimensions from mathematical reasoning, coding, academic exams, logical reasoning to general instruction following without using task-specific training data of these tasks. In addition, GLAN allows for easy customization and new fields or skills can be added by simply incorporating a new node into our taxonomy.