PAFT : Ajustement fin indépendant du prompt

PAFT: Prompt-Agnostic Fine-Tuning

February 18, 2025

Auteurs: Chenxing Wei, Yao Shu, Mingwen Ou, Ying Tiffany He, Fei Richard Yu

cs.AI

Résumé

Bien que les grands modèles de langage (LLM) s'adaptent bien aux tâches en aval après un ajustement fin, cette adaptabilité compromet souvent la robustesse des prompts, car même des variations mineures peuvent considérablement dégrader les performances. Pour remédier à cela, nous proposons l'Ajustement Fin Prompt-Agnostique (PAFT), une approche simple mais efficace qui ajuste dynamiquement les prompts pendant l'ajustement fin. Cela encourage le modèle à apprendre les principes sous-jacents de la tâche plutôt que de surajuster à des formulations de prompts spécifiques. PAFT fonctionne en deux étapes : premièrement, un ensemble diversifié de prompts candidats synthétiques et significatifs est construit. Deuxièmement, pendant l'ajustement fin, les prompts sont échantillonnés aléatoirement dans cet ensemble pour créer des entrées d'entraînement dynamiques. Des expériences approfondies sur divers ensembles de données et LLM démontrent que les modèles entraînés avec PAFT présentent une forte robustesse et généralisation sur une large gamme de prompts, y compris ceux non vus auparavant. Cette robustesse améliorée accroît à la fois les performances du modèle et la vitesse d'inférence tout en maintenant l'efficacité de l'entraînement. Des études d'ablation confirment en outre l'efficacité de PAFT.

English

While Large Language Models (LLMs) adapt well to downstream tasks after fine-tuning, this adaptability often compromises prompt robustness, as even minor prompt variations can significantly degrade performance. To address this, we propose Prompt-Agnostic Fine-Tuning(PAFT), a simple yet effective approach that dynamically adjusts prompts during fine-tuning. This encourages the model to learn underlying task principles rather than overfitting to specific prompt formulations. PAFT operates in two stages: First, a diverse set of meaningful, synthetic candidate prompts is constructed. Second, during fine-tuning, prompts are randomly sampled from this set to create dynamic training inputs. Extensive experiments across diverse datasets and LLMs demonstrate that models trained with PAFT exhibit strong robustness and generalization across a wide range of prompts, including unseen ones. This enhanced robustness improves both model performance and inference speed while maintaining training efficiency. Ablation studies further confirm the effectiveness of PAFT.