Dados Sintéticos (Quase) do Zero: Ajuste de Instruções Generalizado para Modelos de Linguagem

Synthetic Data (Almost) from Scratch: Generalized Instruction Tuning for Language Models

February 20, 2024

Autores: Haoran Li, Qingxiu Dong, Zhengyang Tang, Chaojun Wang, Xingxing Zhang, Haoyang Huang, Shaohan Huang, Xiaolong Huang, Zeqiang Huang, Dongdong Zhang, Yuxian Gu, Xin Cheng, Xun Wang, Si-Qing Chen, Li Dong, Wei Lu, Zhifang Sui, Benyou Wang, Wai Lam, Furu Wei

cs.AI

Resumo

Apresentamos o Ajuste de Instruções Generalizado (chamado GLAN), um método geral e escalável para o ajuste de instruções de Modelos de Linguagem de Grande Escala (LLMs). Diferentemente de trabalhos anteriores que dependem de exemplos iniciais ou conjuntos de dados existentes para construir dados de ajuste de instruções, o GLAN utiliza exclusivamente uma taxonomia pré-curatada de conhecimento e capacidades humanas como entrada e gera dados sintéticos de instruções em larga escala em todas as disciplinas. Especificamente, inspirados pela estrutura sistemática do sistema educacional humano, construímos a taxomia decompondo o conhecimento e as capacidades humanas em vários campos, subcampos e, finalmente, disciplinas distintas de forma semi-automática, facilitada por LLMs. Posteriormente, geramos uma lista abrangente de tópicos para cada disciplina e prosseguimos com a elaboração de um plano de estudos personalizado para cada tópico, novamente utilizando LLMs. Com os conceitos-chave detalhados em cada sessão do plano de estudos, somos capazes de gerar instruções diversas com ampla cobertura em todo o espectro de conhecimento e habilidades humanas. Experimentos extensivos em modelos de linguagem de grande escala (por exemplo, Mistral) demonstram que o GLAN se destaca em múltiplas dimensões, desde raciocínio matemático, codificação, exames acadêmicos, raciocínio lógico até a execução geral de instruções, sem utilizar dados de treinamento específicos para essas tarefas. Além disso, o GLAN permite fácil personalização, e novos campos ou habilidades podem ser adicionados simplesmente incorporando um novo nó à nossa taxonomia.

English

We introduce Generalized Instruction Tuning (called GLAN), a general and scalable method for instruction tuning of Large Language Models (LLMs). Unlike prior work that relies on seed examples or existing datasets to construct instruction tuning data, GLAN exclusively utilizes a pre-curated taxonomy of human knowledge and capabilities as input and generates large-scale synthetic instruction data across all disciplines. Specifically, inspired by the systematic structure in human education system, we build the taxonomy by decomposing human knowledge and capabilities to various fields, sub-fields and ultimately, distinct disciplines semi-automatically, facilitated by LLMs. Subsequently, we generate a comprehensive list of subjects for every discipline and proceed to design a syllabus tailored to each subject, again utilizing LLMs. With the fine-grained key concepts detailed in every class session of the syllabus, we are able to generate diverse instructions with a broad coverage across the entire spectrum of human knowledge and skills. Extensive experiments on large language models (e.g., Mistral) demonstrate that GLAN excels in multiple dimensions from mathematical reasoning, coding, academic exams, logical reasoning to general instruction following without using task-specific training data of these tasks. In addition, GLAN allows for easy customization and new fields or skills can be added by simply incorporating a new node into our taxonomy.