Synthetische Daten (fast) von Grund auf: Generalisiertes Instruction Tuning für Sprachmodelle

Synthetic Data (Almost) from Scratch: Generalized Instruction Tuning for Language Models

February 20, 2024

Autoren: Haoran Li, Qingxiu Dong, Zhengyang Tang, Chaojun Wang, Xingxing Zhang, Haoyang Huang, Shaohan Huang, Xiaolong Huang, Zeqiang Huang, Dongdong Zhang, Yuxian Gu, Xin Cheng, Xun Wang, Si-Qing Chen, Li Dong, Wei Lu, Zhifang Sui, Benyou Wang, Wai Lam, Furu Wei

cs.AI

Zusammenfassung

Wir stellen Generalized Instruction Tuning (genannt GLAN) vor, eine allgemeine und skalierbare Methode für das Instruction Tuning von Large Language Models (LLMs). Im Gegensatz zu früheren Arbeiten, die sich auf Beispieldaten oder bestehende Datensätze zur Konstruktion von Instruction-Tuning-Daten verlassen, nutzt GLAN ausschließlich eine vorkurierte Taxonomie menschlichen Wissens und menschlicher Fähigkeiten als Eingabe und erzeugt großflächig synthetische Instruktionsdaten über alle Disziplinen hinweg. Inspiriert von der systematischen Struktur des menschlichen Bildungssystems, bauen wir die Taxonomie, indem wir menschliches Wissen und Fähigkeiten halbautomatisch in verschiedene Bereiche, Unterbereiche und letztlich eigenständige Disziplinen zerlegen, unterstützt durch LLMs. Anschließend generieren wir eine umfassende Liste von Themen für jede Disziplin und entwerfen einen auf jedes Thema zugeschnittenen Lehrplan, ebenfalls unter Nutzung von LLMs. Mit den detaillierten Schlüsselkonzepten in jeder Unterrichtseinheit des Lehrplans sind wir in der Lage, vielfältige Instruktionen mit einer breiten Abdeckung des gesamten Spektrums menschlichen Wissens und Könnens zu generieren. Umfangreiche Experimente mit großen Sprachmodellen (z.B. Mistral) zeigen, dass GLAN in mehreren Dimensionen von mathematischem Denken, Programmieren, akademischen Prüfungen, logischem Denken bis hin zur allgemeinen Befolgung von Anweisungen hervorragende Ergebnisse erzielt, ohne auf aufgabenspezifische Trainingsdaten zurückzugreifen. Darüber hinaus ermöglicht GLAN eine einfache Anpassung, und neue Bereiche oder Fähigkeiten können durch die einfache Integration eines neuen Knotens in unsere Taxonomie hinzugefügt werden.

English

We introduce Generalized Instruction Tuning (called GLAN), a general and scalable method for instruction tuning of Large Language Models (LLMs). Unlike prior work that relies on seed examples or existing datasets to construct instruction tuning data, GLAN exclusively utilizes a pre-curated taxonomy of human knowledge and capabilities as input and generates large-scale synthetic instruction data across all disciplines. Specifically, inspired by the systematic structure in human education system, we build the taxonomy by decomposing human knowledge and capabilities to various fields, sub-fields and ultimately, distinct disciplines semi-automatically, facilitated by LLMs. Subsequently, we generate a comprehensive list of subjects for every discipline and proceed to design a syllabus tailored to each subject, again utilizing LLMs. With the fine-grained key concepts detailed in every class session of the syllabus, we are able to generate diverse instructions with a broad coverage across the entire spectrum of human knowledge and skills. Extensive experiments on large language models (e.g., Mistral) demonstrate that GLAN excels in multiple dimensions from mathematical reasoning, coding, academic exams, logical reasoning to general instruction following without using task-specific training data of these tasks. In addition, GLAN allows for easy customization and new fields or skills can be added by simply incorporating a new node into our taxonomy.