PAFT: Prompt-unabhängiges Feinabstimmen

PAFT: Prompt-Agnostic Fine-Tuning

February 18, 2025

Autoren: Chenxing Wei, Yao Shu, Mingwen Ou, Ying Tiffany He, Fei Richard Yu

cs.AI

Zusammenfassung

Während sich Large Language Models (LLMs) nach dem Feinabstimmen gut an nachgelagerte Aufgaben anpassen, geht diese Anpassungsfähigkeit oft auf Kosten der Robustheit gegenüber Prompts, da bereits geringfügige Variationen in den Prompts die Leistung erheblich beeinträchtigen können. Um dies zu adressieren, schlagen wir Prompt-Agnostic Fine-Tuning (PAFT) vor, einen einfachen, aber effektiven Ansatz, der Prompts während des Feinabstimmens dynamisch anpasst. Dies ermutigt das Modell, zugrunde liegende Aufgabenprinzipien zu erlernen, anstatt sich an spezifische Prompt-Formulierungen zu überanpassen. PAFT arbeitet in zwei Phasen: Zunächst wird eine vielfältige Menge von bedeutungsvollen, synthetischen Kandidaten-Prompts erstellt. Anschließend werden während des Feinabstimmens Prompts zufällig aus dieser Menge ausgewählt, um dynamische Trainingsinputs zu erzeugen. Umfangreiche Experimente über verschiedene Datensätze und LLMs hinweg zeigen, dass mit PAFT trainierte Modelle eine starke Robustheit und Generalisierungsfähigkeit über eine breite Palette von Prompts hinweg aufweisen, einschließlich solcher, die nicht im Training enthalten waren. Diese verbesserte Robustheit steigert sowohl die Modellleistung als auch die Inferenzgeschwindigkeit, während die Trainings effizienz erhalten bleibt. Ablationsstudien bestätigen weiterhin die Wirksamkeit von PAFT.

English

While Large Language Models (LLMs) adapt well to downstream tasks after fine-tuning, this adaptability often compromises prompt robustness, as even minor prompt variations can significantly degrade performance. To address this, we propose Prompt-Agnostic Fine-Tuning(PAFT), a simple yet effective approach that dynamically adjusts prompts during fine-tuning. This encourages the model to learn underlying task principles rather than overfitting to specific prompt formulations. PAFT operates in two stages: First, a diverse set of meaningful, synthetic candidate prompts is constructed. Second, during fine-tuning, prompts are randomly sampled from this set to create dynamic training inputs. Extensive experiments across diverse datasets and LLMs demonstrate that models trained with PAFT exhibit strong robustness and generalization across a wide range of prompts, including unseen ones. This enhanced robustness improves both model performance and inference speed while maintaining training efficiency. Ablation studies further confirm the effectiveness of PAFT.