TeacherLM: Ensinar a Pescar em Vez de Dar o Peixe, Modelagem de Linguagem da Mesma Forma

TeacherLM: Teaching to Fish Rather Than Giving the Fish, Language Modeling Likewise

October 29, 2023

Autores: Nan He, Hanyu Lai, Chenyang Zhao, Zirui Cheng, Junting Pan, Ruoyu Qin, Ruofan Lu, Rui Lu, Yunchen Zhang, Gangming Zhao, Zhaohui Hou, Zhiyuan Huang, Shaoqing Lu, Ding Liang, Mingjie Zhan

cs.AI

Resumo

Os Modelos de Linguagem de Grande Escala (LLMs) demonstram capacidades impressionantes de raciocínio e aumento de dados em diversas tarefas de Processamento de Linguagem Natural (PLN). No entanto, e os modelos menores? Neste trabalho, propomos o TeacherLM-7.1B, capaz de anotar fundamentos relevantes, cadeias de pensamento e erros comuns para a maioria das amostras de PLN, o que transforma a anotação em mais do que apenas uma resposta, permitindo que outros modelos aprendam o "porquê" em vez de apenas o "quê". O modelo TeacherLM-7.1B alcançou uma pontuação zero-shot de 52,3 no MMLU, superando a maioria dos modelos com mais de 100 bilhões de parâmetros. Ainda mais notável é sua capacidade de aumento de dados. Com base no TeacherLM-7.1B, aumentamos 58 conjuntos de dados de PLN e treinamos diversos modelos estudantis com diferentes parâmetros das séries OPT e BLOOM em um cenário de multitarefa. Os resultados experimentais indicam que o aumento de dados fornecido pelo TeacherLM trouxe benefícios significativos. Disponibilizaremos a série de modelos TeacherLM e os conjuntos de dados aumentados como código aberto.

English

Large Language Models (LLMs) exhibit impressive reasoning and data augmentation capabilities in various NLP tasks. However, what about small models? In this work, we propose TeacherLM-7.1B, capable of annotating relevant fundamentals, chain of thought, and common mistakes for most NLP samples, which makes annotation more than just an answer, thus allowing other models to learn "why" instead of just "what". The TeacherLM-7.1B model achieved a zero-shot score of 52.3 on MMLU, surpassing most models with over 100B parameters. Even more remarkable is its data augmentation ability. Based on TeacherLM-7.1B, we augmented 58 NLP datasets and taught various student models with different parameters from OPT and BLOOM series in a multi-task setting. The experimental results indicate that the data augmentation provided by TeacherLM has brought significant benefits. We will release the TeacherLM series of models and augmented datasets as open-source.