OpenMathInstruct-1: Een dataset van 1,8 miljoen wiskundige instructies voor fine-tuning

OpenMathInstruct-1: A 1.8 Million Math Instruction Tuning Dataset

February 15, 2024

Auteurs: Shubham Toshniwal, Ivan Moshkov, Sean Narenthiran, Daria Gitman, Fei Jia, Igor Gitman

cs.AI

Samenvatting

Recente studies hebben het immense potentieel aangetoond van synthetisch gegenereerde datasets voor het trainen van grote taalmodellen (LLM's), met name voor het verwerven van gerichte vaardigheden. Huidige grootschalige datasets voor het afstemmen van wiskundige instructies, zoals MetaMathQA (Yu et al., 2024) en MAmmoTH (Yue et al., 2024), zijn geconstrueerd met behulp van uitvoer van gesloten bron LLM's met commercieel restrictieve licenties. Een belangrijke reden die het gebruik van open-source LLM's in deze datageneratiepijplijnen beperkt, is het grote verschil in wiskundige vaardigheden tussen de beste gesloten bron LLM's, zoals GPT-4, en de beste open-source LLM's. Gebaseerd op de recente vooruitgang in open-source LLM's, onze voorgestelde promptinnovatie, en wat brute-force schaling, construeren we OpenMathInstruct-1, een dataset voor het afstemmen van wiskundige instructies met 1,8 miljoen probleem-oplossingsparen. De dataset is geconstrueerd door code-interpreter oplossingen te synthetiseren voor GSM8K en MATH, twee populaire benchmarks voor wiskundig redeneren, met behulp van het recent vrijgegeven en permissief gelicentieerde Mixtral-model. Ons beste model, OpenMath-CodeLlama-70B, getraind op een subset van OpenMathInstruct-1, behaalt een score van 84,6% op GSM8K en 50,7% op MATH, wat competitief is met de beste gpt-gedistilleerde modellen. We geven onze code, modellen en de OpenMathInstruct-1 dataset vrij onder een commercieel permissieve licentie.

English

Recent work has shown the immense potential of synthetically generated datasets for training large language models (LLMs), especially for acquiring targeted skills. Current large-scale math instruction tuning datasets such as MetaMathQA (Yu et al., 2024) and MAmmoTH (Yue et al., 2024) are constructed using outputs from closed-source LLMs with commercially restrictive licenses. A key reason limiting the use of open-source LLMs in these data generation pipelines has been the wide gap between the mathematical skills of the best closed-source LLMs, such as GPT-4, and the best open-source LLMs. Building on the recent progress in open-source LLMs, our proposed prompting novelty, and some brute-force scaling, we construct OpenMathInstruct-1, a math instruction tuning dataset with 1.8M problem-solution pairs. The dataset is constructed by synthesizing code-interpreter solutions for GSM8K and MATH, two popular math reasoning benchmarks, using the recently released and permissively licensed Mixtral model. Our best model, OpenMath-CodeLlama-70B, trained on a subset of OpenMathInstruct-1, achieves a score of 84.6% on GSM8K and 50.7% on MATH, which is competitive with the best gpt-distilled models. We release our code, models, and the OpenMathInstruct-1 dataset under a commercially permissive license.