TeacherLM : Apprendre à pêcher plutôt que donner le poisson, une approche similaire pour le modélisation du langage

TeacherLM: Teaching to Fish Rather Than Giving the Fish, Language Modeling Likewise

October 29, 2023

papers.authors: Nan He, Hanyu Lai, Chenyang Zhao, Zirui Cheng, Junting Pan, Ruoyu Qin, Ruofan Lu, Rui Lu, Yunchen Zhang, Gangming Zhao, Zhaohui Hou, Zhiyuan Huang, Shaoqing Lu, Ding Liang, Mingjie Zhan

cs.AI

papers.abstract

Les grands modèles de langage (LLMs) démontrent des capacités impressionnantes de raisonnement et d'augmentation de données dans diverses tâches de NLP. Mais qu'en est-il des petits modèles ? Dans ce travail, nous proposons TeacherLM-7.1B, capable d'annoter les fondamentaux pertinents, la chaîne de raisonnement et les erreurs courantes pour la plupart des échantillons de NLP, ce qui transforme l'annotation en bien plus qu'une simple réponse, permettant ainsi à d'autres modèles d'apprendre le "pourquoi" plutôt que simplement le "quoi". Le modèle TeacherLM-7.1B a obtenu un score zero-shot de 52,3 sur MMLU, surpassant la plupart des modèles comptant plus de 100 milliards de paramètres. Plus remarquable encore est sa capacité d'augmentation de données. Sur la base de TeacherLM-7.1B, nous avons augmenté 58 ensembles de données de NLP et entraîné divers modèles étudiants avec des paramètres variés issus des séries OPT et BLOOM dans un cadre multitâche. Les résultats expérimentaux indiquent que l'augmentation de données fournie par TeacherLM a apporté des bénéfices significatifs. Nous publierons la série de modèles TeacherLM ainsi que les ensembles de données augmentés en open-source.

English

Large Language Models (LLMs) exhibit impressive reasoning and data augmentation capabilities in various NLP tasks. However, what about small models? In this work, we propose TeacherLM-7.1B, capable of annotating relevant fundamentals, chain of thought, and common mistakes for most NLP samples, which makes annotation more than just an answer, thus allowing other models to learn "why" instead of just "what". The TeacherLM-7.1B model achieved a zero-shot score of 52.3 on MMLU, surpassing most models with over 100B parameters. Even more remarkable is its data augmentation ability. Based on TeacherLM-7.1B, we augmented 58 NLP datasets and taught various student models with different parameters from OPT and BLOOM series in a multi-task setting. The experimental results indicate that the data augmentation provided by TeacherLM has brought significant benefits. We will release the TeacherLM series of models and augmented datasets as open-source.