Solo-SI: Revelando el Efecto Decisivo de la Diversidad de Instrucciones en la Generalización

Only-IF:Revealing the Decisive Effect of Instruction Diversity on Generalization

October 7, 2024

Autores: Dylan Zhang, Justin Wang, Francois Charton

cs.AI

Resumen

Comprender y seguir con precisión las instrucciones es fundamental para que los modelos de lenguaje grandes (LLMs) sean efectivos en diversas tareas. En este trabajo, examinamos rigurosamente los factores clave que permiten a los modelos generalizar a instrucciones no vistas, proporcionando ideas para guiar la recopilación de datos para ajuste de instrucciones. A través de experimentos controlados, inspirados en el algoritmo de Markov completo de Turing, demostramos que dicha generalización solo emerge cuando los datos de entrenamiento están suficientemente diversificados en dominios semánticos. Nuestros hallazgos también revelan que simplemente diversificar dentro de dominios limitados no garantiza una generalización sólida. Por el contrario, la diversificación de datos entre dominios, incluso con presupuestos de datos limitados, mejora significativamente la adaptabilidad de un modelo. Ampliamos nuestro análisis a escenarios del mundo real, incluido el ajuste fino de modelos especializados y generalistas. En ambos casos, demostramos que 1) se puede lograr un mejor rendimiento aumentando la diversidad de un conjunto de datos establecido manteniendo constante el tamaño de los datos, y 2) al escalar los datos, diversificar las semánticas de las instrucciones es más efectivo que simplemente aumentar la cantidad de datos similares. Nuestra investigación proporciona ideas importantes para la recopilación de conjuntos de datos, especialmente al optimizar el rendimiento del modelo mediante la expansión de los datos de entrenamiento para escenarios especializados y generalistas. Mostramos que la consideración cuidadosa de la diversificación de datos es clave: entrenar modelos especializados con datos que se extienden más allá de su dominio principal conduce a mejoras significativas en el rendimiento, mientras que los modelos generalistas se benefician de mezclas de datos diversas que mejoran sus capacidades generales de seguimiento de instrucciones en una amplia gama de aplicaciones. Nuestros resultados resaltan el papel crítico de la diversificación estratégica y ofrecen pautas claras para mejorar la calidad de los datos.

English

Understanding and accurately following instructions is critical for large language models (LLMs) to be effective across diverse tasks. In this work, we rigorously examine the key factors that enable models to generalize to unseen instructions, providing insights to guide the collection of data for instruction-tuning. Through controlled experiments, inspired by the Turing-complete Markov algorithm, we demonstrate that such generalization only emerges when training data is diversified enough across semantic domains. Our findings also reveal that merely diversifying within limited domains fails to ensure robust generalization. In contrast, cross-domain data diversification, even under constrained data budgets, significantly enhances a model's adaptability. We further extend our analysis to real-world scenarios, including fine-tuning of $textbf{specialist} and textbf{generalist}$ models. In both cases, we demonstrate that 1) better performance can be achieved by increasing the diversity of an established dataset while keeping the data size constant, and 2) when scaling up the data, diversifying the semantics of instructions is more effective than simply increasing the quantity of similar data. Our research provides important insights for dataset collation, particularly when optimizing model performance by expanding training data for both specialist and generalist scenarios. We show that careful consideration of data diversification is key: training specialist models with data extending beyond their core domain leads to significant performance improvements, while generalist models benefit from diverse data mixtures that enhance their overall instruction-following capabilities across a wide range of applications. Our results highlight the critical role of strategic diversification and offer clear guidelines for improving data quality.