ノイズを含む指示に対するファインチューニング：汎化性能とパフォーマンスへの影響

要旨

命令チューニングは、大規模言語モデル（LLM）のタスク解決能力を向上させ、様々なタスクにおいて有用な応答を生成するための使用性を高める上で重要な役割を果たします。しかし、これまでの研究では、LLMが命令の表現のわずかな変化に対して敏感であることが示されています。本論文では、命令チューニングデータに摂動を導入することで、LLMのノイズの多い命令に対する耐性を向上させることができるかどうかを探ります。具体的には、ストップワードの削除や単語のシャッフルなどの摂動を伴う命令チューニングが、広く使用されているベンチマーク（MMLU、BBH、GSM8K）のオリジナル版および摂動版におけるLLMの性能にどのような影響を与えるかに焦点を当てます。さらに、学習ダイナミクスとモデル行動の潜在的な変化を評価します。驚くべきことに、結果は、摂動を加えた命令での命令チューニングが、場合によっては下流タスクの性能を向上させることができることを示唆しています。これらの知見は、命令チューニングにおいて摂動を加えた命令を含めることの重要性を強調しており、LLMをノイズの多いユーザー入力に対してより強靭にすることができる可能性を示しています。

English

Instruction-tuning plays a vital role in enhancing the task-solving abilities of large language models (LLMs), improving their usability in generating helpful responses on various tasks. However, previous work has demonstrated that they are sensitive to minor variations in instruction phrasing. In this paper, we explore whether introducing perturbations in instruction-tuning data can enhance LLMs' resistance against noisy instructions. We focus on how instruction-tuning with perturbations, such as removing stop words or shuffling words, affects LLMs' performance on the original and perturbed versions of widely-used benchmarks (MMLU, BBH, GSM8K). We further assess learning dynamics and potential shifts in model behavior. Surprisingly, our results suggest that instruction-tuning on perturbed instructions can, in some cases, improve downstream performance. These findings highlight the importance of including perturbed instructions in instruction-tuning, which can make LLMs more resilient to noisy user inputs.

ノイズを含む指示に対するファインチューニング：汎化性能とパフォーマンスへの影響

Fine-Tuning on Noisy Instructions: Effects on Generalization and Performance

要旨

Support