Nur-WENN: Die Enthüllung des entscheidenden Effekts von Instruktionsvielfalt auf die Verallgemeinerung

Only-IF:Revealing the Decisive Effect of Instruction Diversity on Generalization

October 7, 2024

Autoren: Dylan Zhang, Justin Wang, Francois Charton

cs.AI

Zusammenfassung

Das Verständnis und die genaue Befolgung von Anweisungen sind entscheidend für große Sprachmodelle (LLMs), um in verschiedenen Aufgaben effektiv zu sein. In dieser Arbeit untersuchen wir eingehend die Schlüsselfaktoren, die es Modellen ermöglichen, auf unbekannte Anweisungen zu verallgemeinern, und liefern Einblicke, um die Datensammlung für die Anpassung von Anweisungen zu leiten. Durch kontrollierte Experimente, inspiriert von dem Turing-vollständigen Markov-Algorithmus, zeigen wir, dass eine solche Verallgemeinerung nur entsteht, wenn die Trainingsdaten über ausreichend vielfältige semantische Bereiche diversifiziert sind. Unsere Ergebnisse zeigen auch, dass eine bloße Diversifizierung innerhalb begrenzter Bereiche keine robuste Verallgemeinerung sicherstellt. Im Gegensatz dazu verbessert die Diversifizierung von Daten über Domänen hinweg, selbst bei begrenzten Datenbudgets, signifikant die Anpassungsfähigkeit eines Modells. Wir erweitern unsere Analyse auch auf reale Szenarien, einschließlich des Feintunings von Spezialisten- und Generalistenmodellen. In beiden Fällen zeigen wir, dass 1) eine bessere Leistung erzielt werden kann, indem die Vielfalt eines etablierten Datensatzes erhöht wird, während die Datenmenge konstant bleibt, und 2) bei der Skalierung der Daten ist die Diversifizierung der Semantik von Anweisungen effektiver als einfach die Menge ähnlicher Daten zu erhöhen. Unsere Forschung liefert wichtige Erkenntnisse für die Zusammenstellung von Datensätzen, insbesondere bei der Optimierung der Modellleistung durch die Erweiterung der Trainingsdaten für sowohl spezialisierte als auch generalistische Szenarien. Wir zeigen, dass eine sorgfältige Berücksichtigung der Daten-Diversifizierung entscheidend ist: Das Training von Spezialistenmodellen mit Daten, die über ihre Kernbereiche hinausgehen, führt zu signifikanten Leistungsverbesserungen, während Generalistenmodelle von vielfältigen Datengemischen profitieren, die ihre allgemeinen Anweisungsfolgefähigkeiten über eine Vielzahl von Anwendungen hinweg verbessern. Unsere Ergebnisse unterstreichen die wichtige Rolle der strategischen Diversifizierung und bieten klare Richtlinien zur Verbesserung der Datenqualität.

English

Understanding and accurately following instructions is critical for large language models (LLMs) to be effective across diverse tasks. In this work, we rigorously examine the key factors that enable models to generalize to unseen instructions, providing insights to guide the collection of data for instruction-tuning. Through controlled experiments, inspired by the Turing-complete Markov algorithm, we demonstrate that such generalization only emerges when training data is diversified enough across semantic domains. Our findings also reveal that merely diversifying within limited domains fails to ensure robust generalization. In contrast, cross-domain data diversification, even under constrained data budgets, significantly enhances a model's adaptability. We further extend our analysis to real-world scenarios, including fine-tuning of $textbf{specialist} and textbf{generalist}$ models. In both cases, we demonstrate that 1) better performance can be achieved by increasing the diversity of an established dataset while keeping the data size constant, and 2) when scaling up the data, diversifying the semantics of instructions is more effective than simply increasing the quantity of similar data. Our research provides important insights for dataset collation, particularly when optimizing model performance by expanding training data for both specialist and generalist scenarios. We show that careful consideration of data diversification is key: training specialist models with data extending beyond their core domain leads to significant performance improvements, while generalist models benefit from diverse data mixtures that enhance their overall instruction-following capabilities across a wide range of applications. Our results highlight the critical role of strategic diversification and offer clear guidelines for improving data quality.