교과서만 있으면 충분하다 II: phi-1.5 기술 보고서

초록

우리는 TinyStories에서 시작된 더 작은 규모의 트랜스포머 기반 언어 모델의 능력에 대한 연구를 계속 이어가고 있습니다. TinyStories는 1천만 개의 파라미터를 가진 모델로, 일관된 영어 문장을 생성할 수 있습니다. 이어서 phi-1이라는 13억 개의 파라미터를 가진 모델에 대한 후속 연구가 진행되었는데, 이 모델은 파이썬 코딩 성능에서 최신 기술 수준에 근접했습니다. 후속 연구에서는 기존의 대형 언어 모델(LLM)을 활용하여 "교과서 수준"의 데이터를 생성함으로써 전통적인 웹 데이터보다 더 나은 학습 과정을 제안했습니다. 우리는 "Textbooks Are All You Need" 접근법을 따르되, 이번에는 자연어에서의 상식 추론에 초점을 맞추어 13억 개의 파라미터를 가진 새로운 모델인 phi-1.5를 개발했습니다. 이 모델은 자연어 작업에서 5배 더 큰 모델과 비슷한 성능을 보이며, 초등학교 수학 및 기본 코딩과 같은 더 복잡한 추론 작업에서는 대부분의 비최신 LLM을 능가합니다. 더 일반적으로, phi-1.5는 훨씬 더 큰 LLM의 여러 특성을 보여줍니다. 이 중에는 "단계적으로 생각하기"나 일부 기본적인 문맥 내 학습과 같은 긍정적인 특성도 있지만, 환각(hallucination) 및 유해하고 편향된 생성물의 가능성과 같은 부정적인 특성도 포함됩니다. 다행히도, 웹 데이터가 없기 때문에 이러한 문제에서 개선이 이루어지고 있습니다. 우리는 이러한 긴급한 주제에 대한 추가 연구를 촉진하기 위해 phi-1.5를 오픈소스로 공개합니다.

English

We continue the investigation into the power of smaller Transformer-based language models as initiated by TinyStories -- a 10 million parameter model that can produce coherent English -- and the follow-up work on phi-1, a 1.3 billion parameter model with Python coding performance close to the state-of-the-art. The latter work proposed to use existing Large Language Models (LLMs) to generate ``textbook quality" data as a way to enhance the learning process compared to traditional web data. We follow the ``Textbooks Are All You Need" approach, focusing this time on common sense reasoning in natural language, and create a new 1.3 billion parameter model named phi-1.5, with performance on natural language tasks comparable to models 5x larger, and surpassing most non-frontier LLMs on more complex reasoning tasks such as grade-school mathematics and basic coding. More generally, phi-1.5 exhibits many of the traits of much larger LLMs, both good -- such as the ability to ``think step by step" or perform some rudimentary in-context learning -- and bad, including hallucinations and the potential for toxic and biased generations -- encouragingly though, we are seeing improvement on that front thanks to the absence of web data. We open-source phi-1.5 to promote further research on these urgent topics.

교과서만 있으면 충분하다 II: phi-1.5 기술 보고서

Textbooks Are All You Need II: phi-1.5 technical report

초록

Support