PAFT: プロンプト非依存型ファインチューニング

PAFT: Prompt-Agnostic Fine-Tuning

February 18, 2025

著者: Chenxing Wei, Yao Shu, Mingwen Ou, Ying Tiffany He, Fei Richard Yu

cs.AI

要旨

大規模言語モデル（LLM）は、ファインチューニング後に下流タスクに適応しやすい一方で、この適応性はプロンプトの頑健性を損なうことが多く、わずかなプロンプトの変化でも性能が大幅に低下する可能性があります。この問題に対処するため、我々はPrompt-Agnostic Fine-Tuning（PAFT）を提案します。これは、ファインチューニング中にプロンプトを動的に調整するシンプルかつ効果的なアプローチであり、モデルが特定のプロンプト形式に過剰適合するのではなく、タスクの基本原理を学習することを促します。PAFTは2段階で動作します。まず、多様で意味のある合成候補プロンプトのセットを構築します。次に、ファインチューニング中にこのセットからプロンプトをランダムにサンプリングし、動的なトレーニング入力を生成します。多様なデータセットとLLMを用いた広範な実験により、PAFTでトレーニングされたモデルは、未見のプロンプトを含む広範なプロンプトに対して強い頑健性と汎化性能を示すことが実証されました。この強化された頑健性は、モデルの性能と推論速度を向上させながら、トレーニング効率を維持します。アブレーションスタディは、PAFTの有効性をさらに裏付けています。

English

While Large Language Models (LLMs) adapt well to downstream tasks after fine-tuning, this adaptability often compromises prompt robustness, as even minor prompt variations can significantly degrade performance. To address this, we propose Prompt-Agnostic Fine-Tuning(PAFT), a simple yet effective approach that dynamically adjusts prompts during fine-tuning. This encourages the model to learn underlying task principles rather than overfitting to specific prompt formulations. PAFT operates in two stages: First, a diverse set of meaningful, synthetic candidate prompts is constructed. Second, during fine-tuning, prompts are randomly sampled from this set to create dynamic training inputs. Extensive experiments across diverse datasets and LLMs demonstrate that models trained with PAFT exhibit strong robustness and generalization across a wide range of prompts, including unseen ones. This enhanced robustness improves both model performance and inference speed while maintaining training efficiency. Ablation studies further confirm the effectiveness of PAFT.