Fijne instructies: Het schalen van synthetische instructies naar de schaal van voorafgaande training

FineInstructions: Scaling Synthetic Instructions to Pre-Training Scale

January 29, 2026

Auteurs: Ajay Patel, Colin Raffel, Chris Callison-Burch

cs.AI

Samenvatting

Vanwege beperkte hoeveelheden gesuperviseerde trainingsdata worden grote taalmmodellen (LLM's) doorgaans voorgetraind via een zelfgesuperviseerd "voorspel het volgende woord"-doel op een enorme hoeveelheid ongestructureerde tekstdata. Om het resulterende model nuttig te maken voor gebruikers, wordt het verder getraind op een veel kleinere hoeveelheid "instruction-tuning"-data, bestaande uit gesuperviseerde trainingsvoorbeelden van instructies en antwoorden. Om de beperkte hoeveelheid gesuperviseerde data te overwinnen, stellen we een procedure voor die de kennis in internet-schaal voor-trainingsdocumenten kan omzetten in miljarden synthetische trainingsparen van instructies en antwoorden. De resulterende dataset, genaamd FineInstructions, gebruikt ~18 miljoen instructiesjablonen gemaakt op basis van echte, door gebruikers geschreven queries en prompts. Deze instructiesjablonen worden gematcht en geïnstantieerd met door mensen geschreven brondocumenten uit ongestructureerde voor-trainingscorpora. Met "gesuperviseerde" synthetische trainingsdata die op deze schaal wordt gegenereerd, kan een LLM volledig vanaf nul worden voorgetraind uitsluitend met het instruction-tuning doel, wat veel meer in-distribution is met het verwachte downstream-gebruik van LLM's (reageren op gebruikersprompts). We voeren gecontroleerde token-voor-token trainingsexperimenten uit en ontdekken dat voor-training op FineInstructions superieur presteert ten opzichte van standaard voor-training en andere voorgestelde synthetische voor-trainings-technieken op standaard benchmarks die de kwaliteit van vrije-vorm antwoorden meten. Onze resources zijn te vinden op https://huggingface.co/fineinstructions.

English

Due to limited supervised training data, large language models (LLMs) are typically pre-trained via a self-supervised "predict the next word" objective on a vast amount of unstructured text data. To make the resulting model useful to users, it is further trained on a far smaller amount of "instruction-tuning" data comprised of supervised training examples of instructions and responses. To overcome the limited amount of supervised data, we propose a procedure that can transform the knowledge in internet-scale pre-training documents into billions of synthetic instruction and answer training pairs. The resulting dataset, called FineInstructions, uses ~18M instruction templates created from real user-written queries and prompts. These instruction templates are matched to and instantiated with human-written source documents from unstructured pre-training corpora. With "supervised" synthetic training data generated at this scale, an LLM can be pre-trained from scratch solely with the instruction-tuning objective, which is far more in-distribution with the expected downstream usage of LLMs (responding to user prompts). We conduct controlled token-for-token training experiments and find pre-training on FineInstructions outperforms standard pre-training and other proposed synthetic pre-training techniques on standard benchmarks measuring free-form response quality. Our resources can be found at https://huggingface.co/fineinstructions .