教科書はすべてを提供するII：phi-1.5技術レポート

要旨

我々は、TinyStoriesで始められた小規模なTransformerベースの言語モデルの能力に関する調査を継続している。TinyStoriesは1000万パラメータのモデルであり、一貫性のある英語を生成できる。その後、phi-1という13億パラメータのモデルが開発され、Pythonコーディング性能において最先端に近い成果を上げた。この後続研究では、従来のウェブデータと比較して学習プロセスを強化するために、既存の大規模言語モデル（LLM）を使用して「教科書品質」のデータを生成する方法が提案された。我々は「Textbooks Are All You Need」アプローチに従い、今回は自然言語における常識推論に焦点を当て、phi-1.5という新しい13億パラメータのモデルを作成した。このモデルは、自然言語タスクにおいて5倍大きいモデルに匹敵する性能を示し、小学校レベルの数学や基本的なコーディングなどのより複雑な推論タスクでは、ほとんどの非最先端LLMを凌駕している。より一般的に、phi-1.5は、より大規模なLLMの多くの特性を示している。良い特性としては、「段階的に考える」能力や、いくつかの初歩的な文脈内学習を実行する能力などが挙げられる。一方で、悪い特性としては、幻覚や、有害で偏った生成物の可能性などが含まれる。しかし、ウェブデータが存在しないことにより、この点に関して改善が見られることは励みになる。我々は、これらの緊急のトピックに関するさらなる研究を促進するために、phi-1.5をオープンソースとして公開する。

English

We continue the investigation into the power of smaller Transformer-based language models as initiated by TinyStories -- a 10 million parameter model that can produce coherent English -- and the follow-up work on phi-1, a 1.3 billion parameter model with Python coding performance close to the state-of-the-art. The latter work proposed to use existing Large Language Models (LLMs) to generate ``textbook quality" data as a way to enhance the learning process compared to traditional web data. We follow the ``Textbooks Are All You Need" approach, focusing this time on common sense reasoning in natural language, and create a new 1.3 billion parameter model named phi-1.5, with performance on natural language tasks comparable to models 5x larger, and surpassing most non-frontier LLMs on more complex reasoning tasks such as grade-school mathematics and basic coding. More generally, phi-1.5 exhibits many of the traits of much larger LLMs, both good -- such as the ability to ``think step by step" or perform some rudimentary in-context learning -- and bad, including hallucinations and the potential for toxic and biased generations -- encouragingly though, we are seeing improvement on that front thanks to the absence of web data. We open-source phi-1.5 to promote further research on these urgent topics.

教科書はすべてを提供するII：phi-1.5技術レポート

Textbooks Are All You Need II: phi-1.5 technical report

要旨

Support