FineInstructions: 事前学習規模への合成命令のスケーリング
FineInstructions: Scaling Synthetic Instructions to Pre-Training Scale
January 29, 2026
著者: Ajay Patel, Colin Raffel, Chris Callison-Burch
cs.AI
要旨
教師あり学習データの限界を克服するため、大規模言語モデル（LLM）は通常、膨大な量の非構造化テキストデータに対し、自己教師ありの「次の単語予測」タスクで事前学習されます。得られたモデルをユーザーにとって有用なものとするため、さらに少量の「指示チューニング」データ（指示と応答の教師あり学習事例で構成される）で学習が行われます。教師ありデータの不足という課題に対処するため、我々はインターネット規模の事前学習文書に含まれる知識を、数十億規模の合成的な指示と回答の訓練ペアに変換する手法を提案します。この結果得られるデータセット「FineInstructions」は、実際のユーザー記述のクエリやプロンプトから作成された約1,800万の指示テンプレートを利用しています。これらの指示テンプレートは、非構造化事前学習コーパスから得られた人間によって書かれた原文書と対応付けられ、具体化されます。この規模で生成された「教師あり」の合成的訓練データを用いることで、LLMを指示チューニング目標のみでスクラッチから事前学習することが可能となります。これは、LLMの期待される下流用途（ユーザープロンプトへの応答）との分布の一致度がはるかに高いと言えます。我々はトークン単位で管理された訓練実験を実施し、FineInstructionsによる事前学習が、自由形式応答の質を測定する標準ベンチマークにおいて、標準的な事前学習や他の提案されている合成的事前学習手法を上回ることを確認しました。関連リソースは https://huggingface.co/fineinstructions で公開されています。
English
Due to limited supervised training data, large language models (LLMs) are typically pre-trained via a self-supervised "predict the next word" objective on a vast amount of unstructured text data. To make the resulting model useful to users, it is further trained on a far smaller amount of "instruction-tuning" data comprised of supervised training examples of instructions and responses. To overcome the limited amount of supervised data, we propose a procedure that can transform the knowledge in internet-scale pre-training documents into billions of synthetic instruction and answer training pairs. The resulting dataset, called FineInstructions, uses ~18M instruction templates created from real user-written queries and prompts. These instruction templates are matched to and instantiated with human-written source documents from unstructured pre-training corpora. With "supervised" synthetic training data generated at this scale, an LLM can be pre-trained from scratch solely with the instruction-tuning objective, which is far more in-distribution with the expected downstream usage of LLMs (responding to user prompts). We conduct controlled token-for-token training experiments and find pre-training on FineInstructions outperforms standard pre-training and other proposed synthetic pre-training techniques on standard benchmarks measuring free-form response quality. Our resources can be found at https://huggingface.co/fineinstructions .