Seulement-SI : Révéler l'Effet Déterminant de la Diversité des Instructions sur la Généralisation

Only-IF:Revealing the Decisive Effect of Instruction Diversity on Generalization

October 7, 2024

Auteurs: Dylan Zhang, Justin Wang, Francois Charton

cs.AI

Résumé

Comprendre et suivre précisément les instructions est crucial pour que les grands modèles de langage (LLMs) soient efficaces dans diverses tâches. Dans ce travail, nous examinons rigoureusement les principaux facteurs qui permettent aux modèles de généraliser à des instructions non vues, fournissant des perspectives pour guider la collecte de données pour l'ajustement des instructions. À travers des expériences contrôlées, inspirées par l'algorithme de Markov Turing-complet, nous démontrons que cette généralisation n'émerge que lorsque les données d'entraînement sont suffisamment diversifiées à travers les domaines sémantiques. Nos résultats révèlent également que la simple diversification au sein de domaines limités ne garantit pas une généralisation robuste. En revanche, la diversification des données entre domaines, même avec des budgets de données contraints, améliore significativement l'adaptabilité d'un modèle. Nous étendons ensuite notre analyse à des scénarios réels, incluant le fine-tuning de modèles spécialisés et généralistes. Dans les deux cas, nous démontrons que 1) de meilleures performances peuvent être obtenues en augmentant la diversité d'un ensemble de données établi tout en maintenant la taille des données constante, et 2) lors de l'augmentation des données, diversifier les sémantiques des instructions est plus efficace que simplement augmenter la quantité de données similaires. Notre recherche offre des perspectives importantes pour la collecte de données, en particulier lors de l'optimisation des performances des modèles en élargissant les données d'entraînement pour les scénarios spécialisés et généralistes. Nous montrons qu'une considération attentive de la diversification des données est essentielle : entraîner des modèles spécialisés avec des données s'étendant au-delà de leur domaine principal conduit à des améliorations significatives des performances, tandis que les modèles généralistes bénéficient de mélanges de données diversifiés qui renforcent leurs capacités globales à suivre les instructions dans une large gamme d'applications. Nos résultats soulignent le rôle crucial de la diversification stratégique et offrent des lignes directrices claires pour améliorer la qualité des données.

English

Understanding and accurately following instructions is critical for large language models (LLMs) to be effective across diverse tasks. In this work, we rigorously examine the key factors that enable models to generalize to unseen instructions, providing insights to guide the collection of data for instruction-tuning. Through controlled experiments, inspired by the Turing-complete Markov algorithm, we demonstrate that such generalization only emerges when training data is diversified enough across semantic domains. Our findings also reveal that merely diversifying within limited domains fails to ensure robust generalization. In contrast, cross-domain data diversification, even under constrained data budgets, significantly enhances a model's adaptability. We further extend our analysis to real-world scenarios, including fine-tuning of $textbf{specialist} and textbf{generalist}$ models. In both cases, we demonstrate that 1) better performance can be achieved by increasing the diversity of an established dataset while keeping the data size constant, and 2) when scaling up the data, diversifying the semantics of instructions is more effective than simply increasing the quantity of similar data. Our research provides important insights for dataset collation, particularly when optimizing model performance by expanding training data for both specialist and generalist scenarios. We show that careful consideration of data diversification is key: training specialist models with data extending beyond their core domain leads to significant performance improvements, while generalist models benefit from diverse data mixtures that enhance their overall instruction-following capabilities across a wide range of applications. Our results highlight the critical role of strategic diversification and offer clear guidelines for improving data quality.