Instruções Finas: Escalonando Instruções Sintéticas para a Escala de Pré-treinamento

FineInstructions: Scaling Synthetic Instructions to Pre-Training Scale

January 29, 2026

Autores: Ajay Patel, Colin Raffel, Chris Callison-Burch

cs.AI

Resumo

Devido à escassez de dados supervisionados para treinamento, os grandes modelos de linguagem (LLMs) são normalmente pré-treinados por meio de um objetivo auto supervisionado de "prever a próxima palavra" em uma vasta quantidade de dados de texto não estruturados. Para tornar o modelo resultante útil aos usuários, ele é posteriormente treinado com uma quantidade muito menor de dados de "ajuste por instrução", compostos por exemplos de treinamento supervisionado de instruções e respostas. Para superar a quantidade limitada de dados supervisionados, propomos um procedimento que pode transformar o conhecimento contido em documentos de pré-treinamento em escala da internet em bilhões de pares de treinamento sintéticos de instrução e resposta. O conjunto de dados resultante, denominado FineInstructions, utiliza aproximadamente 18 milhões de modelos de instrução criados a partir de consultas e *prompts* escritos por usuários reais. Esses modelos de instrução são combinados e instanciados com documentos-fonte escritos por humanos, provenientes de corpora de pré-treinamento não estruturados. Com dados de treinamento sintéticos "supervisionados" gerados nessa escala, um LLM pode ser pré-treinado do zero apenas com o objetivo de ajuste por instrução, que está muito mais alinhado com a distribuição esperada do uso subsequente dos LLMs (responder a *prompts* do usuário). Realizamos experimentos controlados de treinamento token por token e descobrimos que o pré-treinamento com FineInstructions supera o pré-treinamento padrão e outras técnicas de pré-treinamento sintético propostas em *benchmarks* padrão que medem a qualidade de respostas em formato livre. Nossos recursos podem ser encontrados em https://huggingface.co/fineinstructions.

English

Due to limited supervised training data, large language models (LLMs) are typically pre-trained via a self-supervised "predict the next word" objective on a vast amount of unstructured text data. To make the resulting model useful to users, it is further trained on a far smaller amount of "instruction-tuning" data comprised of supervised training examples of instructions and responses. To overcome the limited amount of supervised data, we propose a procedure that can transform the knowledge in internet-scale pre-training documents into billions of synthetic instruction and answer training pairs. The resulting dataset, called FineInstructions, uses ~18M instruction templates created from real user-written queries and prompts. These instruction templates are matched to and instantiated with human-written source documents from unstructured pre-training corpora. With "supervised" synthetic training data generated at this scale, an LLM can be pre-trained from scratch solely with the instruction-tuning objective, which is far more in-distribution with the expected downstream usage of LLMs (responding to user prompts). We conduct controlled token-for-token training experiments and find pre-training on FineInstructions outperforms standard pre-training and other proposed synthetic pre-training techniques on standard benchmarks measuring free-form response quality. Our resources can be found at https://huggingface.co/fineinstructions .