大規模言語モデルにおける汎化のための選択的自己から教師あり微調整

Selective Self-to-Supervised Fine-Tuning for Generalization in Large Language Models

February 12, 2025

著者: Sonam Gupta, Yatin Nandwani, Asaf Yehudai, Dinesh Khandelwal, Dinesh Raghu, Sachindra Joshi

cs.AI

要旨

特定のデータセットで大規模言語モデル（LLMs）を微調整することは、ターゲットタスクの性能を向上させるための一般的な手法です。ただし、この性能向上はしばしば過学習につながり、モデルがタスクまたはトレーニングデータの特性のいずれかに過度に特化し、一般化が失われることがあります。本論文では、標準の教師あり微調整（SFT）よりも優れた性能を達成しつつ一般化を向上させる微調整手法であるSelective Self-to-Supervised Fine-Tuning（S3FT）を紹介します。S3FTは、クエリに対して複数の有効な応答が存在することを活用します。モデルの正しい応答を利用することで、S3FTは微調整段階でモデルの特化を軽減します。S3FTは、適切な判定者を展開してトレーニングセットから正しいモデル応答を特定し、その後、残りのサンプルに対して正しいモデル応答と正解応答（またはその言い換え）を使用してモデルを微調整します。S3FTの効果は、数学的推論、Pythonプログラミング、読解タスクの実験を通じて示されます。結果は、MMLUやTruthfulQAなどの複数のベンチマークで、標準のSFTが平均4.4の性能低下をもたらす可能性があることを示しています。これに対し、S3FTはこの低下を半分の2.5に軽減し、微調整タスクで有意に優れた性能を発揮しつつ、SFTよりも優れた一般化能力を示しています。

English

Fine-tuning Large Language Models (LLMs) on specific datasets is a common practice to improve performance on target tasks. However, this performance gain often leads to overfitting, where the model becomes too specialized in either the task or the characteristics of the training data, resulting in a loss of generalization. This paper introduces Selective Self-to-Supervised Fine-Tuning (S3FT), a fine-tuning approach that achieves better performance than the standard supervised fine-tuning (SFT) while improving generalization. S3FT leverages the existence of multiple valid responses to a query. By utilizing the model's correct responses, S3FT reduces model specialization during the fine-tuning stage. S3FT first identifies the correct model responses from the training set by deploying an appropriate judge. Then, it fine-tunes the model using the correct model responses and the gold response (or its paraphrase) for the remaining samples. The effectiveness of S3FT is demonstrated through experiments on mathematical reasoning, Python programming and reading comprehension tasks. The results show that standard SFT can lead to an average performance drop of up to 4.4 on multiple benchmarks, such as MMLU and TruthfulQA. In contrast, S3FT reduces this drop by half, i.e. 2.5, indicating better generalization capabilities than SFT while performing significantly better on the fine-tuning tasks.