SFTMix: Mixup レシピを用いた言語モデルインストラクションチューニングの向上

SFTMix: Elevating Language Model Instruction Tuning with Mixup Recipe

October 7, 2024

著者: Yuxin Xiao, Shujian Zhang, Wenxuan Zhou, Marzyeh Ghassemi, Sanqiang Zhao

cs.AI

要旨

大規模言語モデル（LLM）に所望の振る舞いを誘導するためには、インタラクション駆動型タスク向けの指示チューニング段階では、通常、次トークン予測（NTP）損失を使用してLLMを指示-応答ペアでトレーニングします。指示チューニングのパフォーマンスを向上させることを目指した以前の研究では、通常、高品質の教師付きファインチューニング（SFT）データセットの必要性が強調されており、これには通常、プロプライエタリLLMを使用した高価なデータフィルタリングや人間の注釈付け者による労働集約的なデータ生成が含まれます。しかし、これらのアプローチはデータセットの固有の特性を十分に活用しておらず、高い計算コストや労働コストをもたらし、それによりスケーラビリティとパフォーマンスの向上が制限されます。本論文では、従来のNTPパラダイムを超えた指示チューニングのパフォーマンスを向上させるために、適切に整備されたデータセットを必要とせずに、SFTMixという新しい手法を提案します。LLMが意味表現空間全体で信頼度にばらつきがあることを観察し、異なる信頼度レベルを持つ例が指示チューニングプロセス中に異なる役割を果たすべきであると主張します。この洞察に基づき、SFTMixは、トレーニングダイナミクスを活用して異なる信頼度レベルを持つ例を特定し、Mixupベースの正則化を適用して、自信のある例での過学習を緩和しつつ、比較的自信のない例での学習を改善するための監督信号を伝播させます。このアプローチにより、SFTMixは、幅広い指示遵守および医療領域固有のSFTタスクにわたって、NTPを大幅に上回るパフォーマンスを発揮し、多様なLLMファミリーに適応し、任意のサイズのデータセットにスケーラビリティを示します。包括的な削除研究は、SFTMixの設計選択の堅牢性をさらに検証し、広範な自然言語処理アプリケーションにおいて、異なるLLMおよびデータセット全体でパフォーマンスを一貫して向上させる柔軟性を強調しています。

English

To induce desired behaviors in large language models (LLMs) for interaction-driven tasks, the instruction-tuning stage typically trains LLMs on instruction-response pairs using the next-token prediction (NTP) loss. Previous work aiming to improve instruction-tuning performance often emphasizes the need for higher-quality supervised fine-tuning (SFT) datasets, which typically involves expensive data filtering with proprietary LLMs or labor-intensive data generation by human annotators. However, these approaches do not fully leverage the datasets' intrinsic properties, resulting in high computational and labor costs, thereby limiting scalability and performance gains. In this paper, we propose SFTMix, a novel recipe that elevates instruction-tuning performance beyond the conventional NTP paradigm, without the need for well-curated datasets. Observing that LLMs exhibit uneven confidence across the semantic representation space, we argue that examples with different confidence levels should play distinct roles during the instruction-tuning process. Based on this insight, SFTMix leverages training dynamics to identify examples with varying confidence levels, then applies a Mixup-based regularization to mitigate overfitting on confident examples while propagating supervision signals to improve learning on relatively unconfident ones. This approach enables SFTMix to significantly outperform NTP across a wide range of instruction-following and healthcare domain-specific SFT tasks, demonstrating its adaptability to diverse LLM families and scalability to datasets of any size. Comprehensive ablation studies further verify the robustness of SFTMix's design choices, underscoring its versatility in consistently enhancing performance across different LLMs and datasets in broader natural language processing applications.