TeacherLM: 魚を与えるのではなく釣り方を教える、言語モデリングも同様に

要旨

大規模言語モデル（LLM）は、様々なNLPタスクにおいて印象的な推論能力とデータ拡張能力を示しています。しかし、小規模モデルはどうでしょうか？本論文では、ほとんどのNLPサンプルに対して関連する基礎知識、連鎖的思考、一般的なミスを注釈できるTeacherLM-7.1Bを提案します。これにより、注釈は単なる答え以上のものとなり、他のモデルが「何を」ではなく「なぜ」を学べるようになります。TeacherLM-7.1Bモデルは、MMLUにおいて52.3のゼロショットスコアを達成し、100B以上のパラメータを持つほとんどのモデルを上回りました。さらに注目すべきは、そのデータ拡張能力です。TeacherLM-7.1Bを基に、58のNLPデータセットを拡張し、OPTおよびBLOOMシリーズの異なるパラメータを持つ様々な学生モデルをマルチタスク設定で指導しました。実験結果は、TeacherLMが提供するデータ拡張が大きな利益をもたらしたことを示しています。我々は、TeacherLMシリーズのモデルと拡張されたデータセットをオープンソースとして公開する予定です。

English

Large Language Models (LLMs) exhibit impressive reasoning and data augmentation capabilities in various NLP tasks. However, what about small models? In this work, we propose TeacherLM-7.1B, capable of annotating relevant fundamentals, chain of thought, and common mistakes for most NLP samples, which makes annotation more than just an answer, thus allowing other models to learn "why" instead of just "what". The TeacherLM-7.1B model achieved a zero-shot score of 52.3 on MMLU, surpassing most models with over 100B parameters. Even more remarkable is its data augmentation ability. Based on TeacherLM-7.1B, we augmented 58 NLP datasets and taught various student models with different parameters from OPT and BLOOM series in a multi-task setting. The experimental results indicate that the data augmentation provided by TeacherLM has brought significant benefits. We will release the TeacherLM series of models and augmented datasets as open-source.

TeacherLM: 魚を与えるのではなく釣り方を教える、言語モデリングも同様に

TeacherLM: Teaching to Fish Rather Than Giving the Fish, Language Modeling Likewise

要旨

Support