シンボルチューニングは、言語モデルのインコンテキスト学習を改善する。

要旨

シンボルチューニングを提案します。これは、自然言語ラベル（例：「ポジティブ/ネガティブな感情」）を任意のシンボル（例：「foo/bar」）に置き換えた入力-ラベルのペアで言語モデルをファインチューニングする手法です。シンボルチューニングは、モデルがタスクを理解するために指示や自然言語ラベルを使用できない場合、代わりに入力-ラベルのマッピングを学習しなければならないという直観を活用します。 540BパラメータまでのFlan-PaLMモデルでシンボルチューニングを実験し、様々な設定で利点を観察しました。まず、シンボルチューニングは未見のインコンテキスト学習タスクでのパフォーマンスを向上させ、指示や自然言語ラベルがないような不十分なプロンプトに対して非常にロバストです。第二に、シンボルチューニングされたモデルはアルゴリズム推論タスクで非常に強力で、List Functionsベンチマークで最大18.2%、Simple Turing Conceptsベンチマークで最大15.3%のパフォーマンス向上が見られました。最後に、シンボルチューニングされたモデルは、インコンテキストで提示された反転ラベルを追従する能力が大幅に向上しており、インコンテキスト情報を使用して以前の意味知識を上書きする能力がより高いことを示しています。

English

We present symbol tuning - finetuning language models on in-context input-label pairs where natural language labels (e.g., "positive/negative sentiment") are replaced with arbitrary symbols (e.g., "foo/bar"). Symbol tuning leverages the intuition that when a model cannot use instructions or natural language labels to figure out a task, it must instead do so by learning the input-label mappings. We experiment with symbol tuning across Flan-PaLM models up to 540B parameters and observe benefits across various settings. First, symbol tuning boosts performance on unseen in-context learning tasks and is much more robust to underspecified prompts, such as those without instructions or without natural language labels. Second, symbol-tuned models are much stronger at algorithmic reasoning tasks, with up to 18.2% better performance on the List Functions benchmark and up to 15.3% better performance on the Simple Turing Concepts benchmark. Finally, symbol-tuned models show large improvements in following flipped-labels presented in-context, meaning that they are more capable of using in-context information to override prior semantic knowledge.

シンボルチューニングは、言語モデルのインコンテキスト学習を改善する。

Symbol tuning improves in-context learning in language models

要旨

Support