PAFT: Ajuste Fino Independente de Prompt

PAFT: Prompt-Agnostic Fine-Tuning

February 18, 2025

Autores: Chenxing Wei, Yao Shu, Mingwen Ou, Ying Tiffany He, Fei Richard Yu

cs.AI

Resumo

Embora os Modelos de Linguagem de Grande Escala (LLMs) se adaptem bem a tarefas subsequentes após o ajuste fino, essa adaptabilidade frequentemente compromete a robustez dos prompts, já que até pequenas variações nos prompts podem degradar significativamente o desempenho. Para abordar esse problema, propomos o Ajuste Fino Independente de Prompt (Prompt-Agnostic Fine-Tuning - PAFT), uma abordagem simples, porém eficaz, que ajusta dinamicamente os prompts durante o ajuste fino. Isso incentiva o modelo a aprender os princípios subjacentes da tarefa, em vez de se ajustar excessivamente a formulações específicas de prompts. O PAFT opera em duas etapas: Primeiro, um conjunto diversificado de prompts candidatos sintéticos e significativos é construído. Segundo, durante o ajuste fino, os prompts são amostrados aleatoriamente desse conjunto para criar entradas de treinamento dinâmicas. Experimentos extensos em diversos conjuntos de dados e LLMs demonstram que os modelos treinados com PAFT exibem forte robustez e generalização em uma ampla gama de prompts, incluindo aqueles não vistos anteriormente. Essa robustez aprimorada melhora tanto o desempenho do modelo quanto a velocidade de inferência, mantendo a eficiência do treinamento. Estudos de ablação confirmam ainda mais a eficácia do PAFT.

English

While Large Language Models (LLMs) adapt well to downstream tasks after fine-tuning, this adaptability often compromises prompt robustness, as even minor prompt variations can significantly degrade performance. To address this, we propose Prompt-Agnostic Fine-Tuning(PAFT), a simple yet effective approach that dynamically adjusts prompts during fine-tuning. This encourages the model to learn underlying task principles rather than overfitting to specific prompt formulations. PAFT operates in two stages: First, a diverse set of meaningful, synthetic candidate prompts is constructed. Second, during fine-tuning, prompts are randomly sampled from this set to create dynamic training inputs. Extensive experiments across diverse datasets and LLMs demonstrate that models trained with PAFT exhibit strong robustness and generalization across a wide range of prompts, including unseen ones. This enhanced robustness improves both model performance and inference speed while maintaining training efficiency. Ablation studies further confirm the effectiveness of PAFT.