Les manuels scolaires sont tout ce dont vous avez besoin.

Résumé

Nous présentons phi-1, un nouveau modèle de langage de grande taille dédié au code, dont la taille est nettement plus réduite que celle des modèles concurrents : phi-1 est un modèle basé sur l'architecture Transformer, doté de 1,3 milliard de paramètres, entraîné pendant 4 jours sur 8 GPU A100, en utilisant une sélection de données de « qualité manuel scolaire » provenant du web (6 milliards de tokens) ainsi que des manuels et exercices générés de manière synthétique avec GPT-3.5 (1 milliard de tokens). Malgré cette échelle réduite, phi-1 atteint une précision pass@1 de 50,6 % sur HumanEval et de 55,5 % sur MBPP. Il présente également des propriétés émergentes surprenantes par rapport à phi-1-base, notre modèle avant l'étape de fine-tuning sur un ensemble de données d'exercices de codage, et à phi-1-small, un modèle plus petit avec 350 millions de paramètres entraîné selon le même pipeline que phi-1, qui atteint tout de même 45 % sur HumanEval.

English

We introduce phi-1, a new large language model for code, with significantly smaller size than competing models: phi-1 is a Transformer-based model with 1.3B parameters, trained for 4 days on 8 A100s, using a selection of ``textbook quality" data from the web (6B tokens) and synthetically generated textbooks and exercises with GPT-3.5 (1B tokens). Despite this small scale, phi-1 attains pass@1 accuracy 50.6% on HumanEval and 55.5% on MBPP. It also displays surprising emergent properties compared to phi-1-base, our model before our finetuning stage on a dataset of coding exercises, and phi-1-small, a smaller model with 350M parameters trained with the same pipeline as phi-1 that still achieves 45% on HumanEval.

Les manuels scolaires sont tout ce dont vous avez besoin.

Textbooks Are All You Need

Résumé

Support