Alleen-ALS: Het Onthullen van het Beslissende Effect van Instructie Diversiteit op Generalisatie

Only-IF:Revealing the Decisive Effect of Instruction Diversity on Generalization

October 7, 2024

Auteurs: Dylan Zhang, Justin Wang, Francois Charton

cs.AI

Samenvatting

Het begrijpen en nauwkeurig opvolgen van instructies is cruciaal voor grote taalmodellen (LLM's) om effectief te zijn bij uiteenlopende taken. In dit werk onderzoeken we grondig de belangrijkste factoren die modellen in staat stellen te generaliseren naar ongeziene instructies, en bieden inzichten om de verzameling van gegevens voor instructie-afstemming te sturen. Via gecontroleerde experimenten, geïnspireerd door het Turing-volledige Markov-algoritme, tonen we aan dat dergelijke generalisatie alleen naar voren komt wanneer trainingsgegevens voldoende gediversifieerd zijn over semantische domeinen. Onze bevindingen tonen ook aan dat enkel diversifiëren binnen beperkte domeinen geen robuuste generalisatie garandeert. Daarentegen verbetert diversificatie van gegevens over domeinen heen, zelfs bij beperkte gegevensbudgetten, aanzienlijk de aanpasbaarheid van een model. We breiden onze analyse verder uit naar real-world scenario's, inclusief het verfijnen van specialistische en algemene modellen. In beide gevallen tonen we aan dat 1) betere prestaties kunnen worden behaald door de diversiteit van een vastgestelde dataset te vergroten terwijl de gegevensomvang constant blijft, en 2) bij het opschalen van de gegevens is het diversifiëren van de semantiek van instructies effectiever dan simpelweg de hoeveelheid vergelijkbare gegevens te vergroten. Ons onderzoek biedt belangrijke inzichten voor het verzamelen van datasets, met name bij het optimaliseren van modelprestaties door de trainingsgegevens uit te breiden voor zowel specialistische als algemene scenario's. We tonen aan dat zorgvuldige overweging van gegevensdiversificatie essentieel is: specialistische modellen trainen met gegevens die verder reiken dan hun kerngebied leidt tot aanzienlijke prestatieverbeteringen, terwijl algemene modellen profiteren van diverse gegevensmengsels die hun algehele instructie-opvolgcapaciteiten verbeteren over een breed scala van toepassingen. Onze resultaten benadrukken de cruciale rol van strategische diversificatie en bieden duidelijke richtlijnen voor het verbeteren van de gegevenskwaliteit.

English

Understanding and accurately following instructions is critical for large language models (LLMs) to be effective across diverse tasks. In this work, we rigorously examine the key factors that enable models to generalize to unseen instructions, providing insights to guide the collection of data for instruction-tuning. Through controlled experiments, inspired by the Turing-complete Markov algorithm, we demonstrate that such generalization only emerges when training data is diversified enough across semantic domains. Our findings also reveal that merely diversifying within limited domains fails to ensure robust generalization. In contrast, cross-domain data diversification, even under constrained data budgets, significantly enhances a model's adaptability. We further extend our analysis to real-world scenarios, including fine-tuning of $textbf{specialist} and textbf{generalist}$ models. In both cases, we demonstrate that 1) better performance can be achieved by increasing the diversity of an established dataset while keeping the data size constant, and 2) when scaling up the data, diversifying the semantics of instructions is more effective than simply increasing the quantity of similar data. Our research provides important insights for dataset collation, particularly when optimizing model performance by expanding training data for both specialist and generalist scenarios. We show that careful consideration of data diversification is key: training specialist models with data extending beyond their core domain leads to significant performance improvements, while generalist models benefit from diverse data mixtures that enhance their overall instruction-following capabilities across a wide range of applications. Our results highlight the critical role of strategic diversification and offer clear guidelines for improving data quality.