Livros Didáticos São Tudo o Que Você Precisa II: relatório técnico do phi-1.5

Textbooks Are All You Need II: phi-1.5 technical report

September 11, 2023

Autores: Yuanzhi Li, Sébastien Bubeck, Ronen Eldan, Allie Del Giorno, Suriya Gunasekar, Yin Tat Lee

cs.AI

Resumo

Continuamos a investigação sobre o poder de modelos de linguagem baseados em Transformers menores, iniciada pelo TinyStories -- um modelo de 10 milhões de parâmetros capaz de produzir textos coerentes em inglês -- e pelo trabalho subsequente sobre o phi-1, um modelo de 1,3 bilhão de parâmetros com desempenho em codificação Python próximo ao estado da arte. Este último trabalho propôs o uso de modelos de linguagem de grande escala (LLMs) existentes para gerar dados de "qualidade de livro didático" como uma forma de aprimorar o processo de aprendizagem em comparação com dados tradicionais da web. Seguimos a abordagem "Textbooks Are All You Need", focando desta vez no raciocínio de senso comum em linguagem natural, e criamos um novo modelo de 1,3 bilhão de parâmetros chamado phi-1.5, com desempenho em tarefas de linguagem natural comparável a modelos 5 vezes maiores, e superando a maioria dos LLMs não de ponta em tarefas de raciocínio mais complexas, como matemática do ensino fundamental e codificação básica. De forma mais geral, o phi-1.5 exibe muitas das características de LLMs muito maiores, tanto boas -- como a capacidade de "pensar passo a passo" ou realizar algum aprendizado contextual rudimentar -- quanto ruins, incluindo alucinações e o potencial para gerações tóxicas e tendenciosas -- embora, de forma encorajadora, estejamos vendo melhorias nesse aspecto graças à ausência de dados da web. Disponibilizamos o phi-1.5 como código aberto para promover mais pesquisas sobre esses tópicos urgentes.

English

We continue the investigation into the power of smaller Transformer-based language models as initiated by TinyStories -- a 10 million parameter model that can produce coherent English -- and the follow-up work on phi-1, a 1.3 billion parameter model with Python coding performance close to the state-of-the-art. The latter work proposed to use existing Large Language Models (LLMs) to generate ``textbook quality" data as a way to enhance the learning process compared to traditional web data. We follow the ``Textbooks Are All You Need" approach, focusing this time on common sense reasoning in natural language, and create a new 1.3 billion parameter model named phi-1.5, with performance on natural language tasks comparable to models 5x larger, and surpassing most non-frontier LLMs on more complex reasoning tasks such as grade-school mathematics and basic coding. More generally, phi-1.5 exhibits many of the traits of much larger LLMs, both good -- such as the ability to ``think step by step" or perform some rudimentary in-context learning -- and bad, including hallucinations and the potential for toxic and biased generations -- encouragingly though, we are seeing improvement on that front thanks to the absence of web data. We open-source phi-1.5 to promote further research on these urgent topics.