小型モデルは大規模言語モデルにとって貴重なプラグインである

要旨

GPT-3やGPT-4のような大規模言語モデル（LLMs）は強力ですが、その重みは一般に公開されておらず、巨大なサイズのため一般的なハードウェアでのチューニングが困難です。その結果、大規模な教師付きデータを用いてこれらのモデルを効果的にチューニングすることは容易ではありません。代替手段として、In-Context Learning（ICL）はコンテキスト長の制限により、少数の教師付き例しか使用できません。本論文では、ブラックボックス型のLLMsがローカルでファインチューニングされた小型モデルと連携できるSuper In-Context Learning（SuperICL）を提案し、教師付きタスクにおいて優れた性能を発揮します。実験結果から、SuperICLは最先端のファインチューニングモデルを超える性能向上を実現しつつ、In-Context Learningの不安定性問題に対処できることが示されています。さらに、SuperICLは多言語性や解釈可能性といった小型モデルの能力を強化することができます。

English

Large language models (LLMs) such as GPT-3 and GPT-4 are powerful but their weights are often publicly unavailable and their immense sizes make the models difficult to be tuned with common hardware. As a result, effectively tuning these models with large-scale supervised data can be challenging. As an alternative, In-Context Learning (ICL) can only use a small number of supervised examples due to context length limits. In this paper, we propose Super In-Context Learning (SuperICL) which allows black-box LLMs to work with locally fine-tuned smaller models, resulting in superior performance on supervised tasks. Our experiments demonstrate that SuperICL can improve performance beyond state-of-the-art fine-tuned models while addressing the instability problem of in-context learning. Furthermore, SuperICL can enhance the capabilities of smaller models, such as multilinguality and interpretability.

小型モデルは大規模言語モデルにとって貴重なプラグインである

Small Models are Valuable Plug-ins for Large Language Models

要旨

Support