Only-IF: Раскрывая решающее влияние разнообразия инструкций на обобщение

Only-IF:Revealing the Decisive Effect of Instruction Diversity on Generalization

October 7, 2024

Авторы: Dylan Zhang, Justin Wang, Francois Charton

cs.AI

Аннотация

Понимание и точное следование инструкциям критически важно для эффективной работы больших языковых моделей (LLM) в различных задачах. В данной работе мы тщательно исследуем ключевые факторы, способствующие обобщению моделей на невидимые инструкции, предоставляя понимание для сбора данных для настройки инструкций. Через контролируемые эксперименты, вдохновленные алгоритмом Тьюринг-полным Маркова, мы демонстрируем, что такое обобщение возникает только тогда, когда обучающие данные достаточно диверсифицированы по семантическим областям. Наши результаты также показывают, что простое разнообразие в ограниченных областях не гарантирует надежного обобщения. В отличие от этого, диверсификация данных между областями, даже при ограниченных бюджетах данных, значительно улучшает адаптивность модели. Мы также расширяем наш анализ до реальных сценариев, включая настройку $textbf{специализированных}$ и $textbf{универсальных}$ моделей. В обоих случаях мы демонстрируем, что 1) лучшие результаты могут быть достигнуты путем увеличения разнообразия установленного набора данных при постоянном размере данных, и 2) при увеличении объема данных, диверсификация семантики инструкций более эффективна, чем простое увеличение количества похожих данных. Наши исследования предоставляют важные понимания для сбора набора данных, особенно при оптимизации производительности модели путем расширения обучающих данных как для специалистов, так и для универсальных сценариев. Мы показываем, что тщательное рассмотрение диверсификации данных является ключевым: обучение специализированных моделей данными, выходящими за пределы их основной области, приводит к значительному улучшению производительности, в то время как универсальные модели выигрывают от разнообразных смесей данных, улучшающих их общие возможности следования инструкциям в широком спектре приложений. Наши результаты подчеркивают критическую роль стратегической диверсификации и предлагают четкие рекомендации для улучшения качества данных.

English

Understanding and accurately following instructions is critical for large language models (LLMs) to be effective across diverse tasks. In this work, we rigorously examine the key factors that enable models to generalize to unseen instructions, providing insights to guide the collection of data for instruction-tuning. Through controlled experiments, inspired by the Turing-complete Markov algorithm, we demonstrate that such generalization only emerges when training data is diversified enough across semantic domains. Our findings also reveal that merely diversifying within limited domains fails to ensure robust generalization. In contrast, cross-domain data diversification, even under constrained data budgets, significantly enhances a model's adaptability. We further extend our analysis to real-world scenarios, including fine-tuning of $textbf{specialist} and textbf{generalist}$ models. In both cases, we demonstrate that 1) better performance can be achieved by increasing the diversity of an established dataset while keeping the data size constant, and 2) when scaling up the data, diversifying the semantics of instructions is more effective than simply increasing the quantity of similar data. Our research provides important insights for dataset collation, particularly when optimizing model performance by expanding training data for both specialist and generalist scenarios. We show that careful consideration of data diversification is key: training specialist models with data extending beyond their core domain leads to significant performance improvements, while generalist models benefit from diverse data mixtures that enhance their overall instruction-following capabilities across a wide range of applications. Our results highlight the critical role of strategic diversification and offer clear guidelines for improving data quality.