FIAT: 命令加速チューニングによる学習パラダイムの融合

要旨

大規模言語モデル（LLM）の学習パラダイムは、現在、主にコンテキスト内学習（ICL）と完全なファインチューニングのいずれかに分類される傾向があります。これらのそれぞれには、利用可能なデータ、モデルサイズ、計算コスト、使いやすさ、最終的な品質に基づいてトレードオフがあり、どちらのソリューションもすべての面で優れた性能を発揮するわけではありません。本稿ではまず、ICLとファインチューニングのパラダイムを、それらの自然な関連性を強調する形で説明します。これらの関連性に基づいて、我々はFIATと呼ばれる新しい学習パラダイムを提案します。FIATはこれらのパラダイムの長所を融合し、最大規模のモデルに対してプロンプトエンジニアリングされた指示と連鎖思考推論を可能にすると同時に、パラメータ効率的なチューニングを用いて中規模のLLMに対してパラメータ更新を行う方法を採用します。我々はFIATの有効性を多言語タスクのさまざまなスケールで評価し、100から10,000のトレーニング例の範囲でFIATがICLとファインチューニングの両方を上回る性能を示すことを確認しました。FIATが、学習パラダイムの間で難しい選択をすることなく、LLMの全潜在能力を活用する実用的な方法を提供することを期待しています。

English

Learning paradigms for large language models (LLMs) currently tend to fall within either in-context learning (ICL) or full fine-tuning. Each of these comes with their own trade-offs based on available data, model size, compute cost, ease-of-use, and final quality with neither solution performing well across-the-board. In this article, we first describe ICL and fine-tuning paradigms in a way that highlights their natural connections. Based on these connections, we propose a new learning paradigm called FIAT that fuses the best of these paradigms together, enabling prompt-engineered instructions and chain-of-thought reasoning with the very largest models while also using similar methods to perform parameter updates on a modestly-sized LLM with parameter-efficient tuning. We evaluate FIAT's effectiveness on a variety of multilingual tasks and observe that FIAT performs better than both ICL and fine-tuning at scales ranging from 100-10,000 training examples. We hope that FIAT provides a practical way of harnessing the full potential of LLMs without needing to make a hard choice between learning paradigms.

FIAT: 命令加速チューニングによる学習パラダイムの融合

FIAT: Fusing learning paradigms with Instruction-Accelerated Tuning

要旨

Support