Untersuchung der Formatkonsistenz für Instruktions-Finetuning

Exploring Format Consistency for Instruction Tuning

July 28, 2023

Autoren: Shihao Liang, Kunlun Zhu, Runchu Tian, Yujia Qin, Huadong Wang, Xin Cong, Zhiyuan Liu, Xiaojiang Liu, Maosong Sun

cs.AI

Zusammenfassung

Instruction Tuning hat sich als vielversprechender Ansatz erwiesen, um große Sprachmodelle bei der Befolgung menschlicher Anweisungen zu verbessern. Es wurde gezeigt, dass die Erhöhung der Vielfalt und Anzahl der Anweisungen in den Trainingsdaten die Generalisierungsleistung konsequent steigern kann, was jüngste Bemühungen unterstützt, verschiedene Anweisungen zu sammeln und bestehende Instruction-Tuning-Datensätze in größere Sammlungen zu integrieren. Allerdings haben unterschiedliche Benutzer ihre eigenen Arten, Anweisungen auszudrücken, und es gibt oft Variationen in den Anweisungsstilen und -formaten zwischen verschiedenen Datensätzen, d.h. Formatinkonsistenz. In dieser Arbeit untersuchen wir, wie Formatinkonsistenz die Leistung von Instruction Tuning beeinflussen kann. Wir schlagen ein Framework namens "Unified Instruction Tuning" (UIT) vor, das OpenAI APIs für den automatischen Formattransfer zwischen verschiedenen Instruction-Tuning-Datensätzen nutzt. Wir zeigen, dass UIT die Generalisierungsleistung bei unbekannten Anweisungen erfolgreich verbessert, was die Bedeutung der Formatkonsistenz für Instruction Tuning unterstreicht. Um das UIT-Framework praktikabler zu machen, schlagen wir außerdem eine neuartige, auf Perplexität basierende Denoising-Methode vor, um das Rauschen beim automatischen Formattransfer zu reduzieren. Wir trainieren zudem ein kleineres Offline-Modell, das eine vergleichbare Formattransferfähigkeit wie die OpenAI APIs erreicht, um die Kosten in der Praxis zu senken.

English

Instruction tuning has emerged as a promising approach to enhancing large language models in following human instructions. It is shown that increasing the diversity and number of instructions in the training data can consistently enhance generalization performance, which facilitates a recent endeavor to collect various instructions and integrate existing instruction tuning datasets into larger collections. However, different users have their unique ways of expressing instructions, and there often exist variations across different datasets in the instruction styles and formats, i.e., format inconsistency. In this work, we study how format inconsistency may impact the performance of instruction tuning. We propose a framework called "Unified Instruction Tuning" (UIT), which calls OpenAI APIs for automatic format transfer among different instruction tuning datasets. We show that UIT successfully improves the generalization performance on unseen instructions, which highlights the importance of format consistency for instruction tuning. To make the UIT framework more practical, we further propose a novel perplexity-based denoising method to reduce the noise of automatic format transfer. We also train a smaller offline model that achieves comparable format transfer capability than OpenAI APIs to reduce costs in practice.