PAFT: Prompt-Onafhankelijke Fijnafstemming

PAFT: Prompt-Agnostic Fine-Tuning

February 18, 2025

Auteurs: Chenxing Wei, Yao Shu, Mingwen Ou, Ying Tiffany He, Fei Richard Yu

cs.AI

Samenvatting

Hoewel Large Language Models (LLM's) zich goed aanpassen aan downstream taken na fine-tuning, gaat deze aanpasbaarheid vaak ten koste van de robuustheid van prompts, aangezien zelfs kleine variaties in prompts de prestaties aanzienlijk kunnen verslechteren. Om dit aan te pakken, stellen we Prompt-Agnostic Fine-Tuning (PAFT) voor, een eenvoudige maar effectieve aanpak die prompts dynamisch aanpast tijdens het fine-tuning proces. Dit moedigt het model aan om de onderliggende taakprincipes te leren in plaats van over te fitten op specifieke promptformuleringen. PAFT werkt in twee fasen: eerst wordt een diverse set van betekenisvolle, synthetische kandidaat-prompts geconstrueerd. Vervolgens worden tijdens het fine-tuning prompts willekeurig uit deze set geselecteerd om dynamische trainingsinvoer te creëren. Uitgebreide experimenten met diverse datasets en LLM's tonen aan dat modellen die met PAFT zijn getraind, sterke robuustheid en generalisatie vertonen over een breed scala aan prompts, inclusief onbekende. Deze verbeterde robuustheid verbetert zowel de modelprestaties als de inferentiesnelheid, terwijl de trainingsefficiëntie behouden blijft. Ablatiestudies bevestigen verder de effectiviteit van PAFT.

English

While Large Language Models (LLMs) adapt well to downstream tasks after fine-tuning, this adaptability often compromises prompt robustness, as even minor prompt variations can significantly degrade performance. To address this, we propose Prompt-Agnostic Fine-Tuning(PAFT), a simple yet effective approach that dynamically adjusts prompts during fine-tuning. This encourages the model to learn underlying task principles rather than overfitting to specific prompt formulations. PAFT operates in two stages: First, a diverse set of meaningful, synthetic candidate prompts is constructed. Second, during fine-tuning, prompts are randomly sampled from this set to create dynamic training inputs. Extensive experiments across diverse datasets and LLMs demonstrate that models trained with PAFT exhibit strong robustness and generalization across a wide range of prompts, including unseen ones. This enhanced robustness improves both model performance and inference speed while maintaining training efficiency. Ablation studies further confirm the effectiveness of PAFT.