PAFT: Тонкая настройка, не зависящая от промптов

PAFT: Prompt-Agnostic Fine-Tuning

February 18, 2025

Авторы: Chenxing Wei, Yao Shu, Mingwen Ou, Ying Tiffany He, Fei Richard Yu

cs.AI

Аннотация

Хотя крупные языковые модели (LLM) хорошо адаптируются к последующим задачам после тонкой настройки, такая адаптируемость часто снижает устойчивость к вариациям запросов, поскольку даже незначительные изменения в формулировках могут существенно ухудшить производительность. Для решения этой проблемы мы предлагаем метод Prompt-Agnostic Fine-Tuning (PAFT) — простой, но эффективный подход, который динамически корректирует запросы в процессе тонкой настройки. Это побуждает модель изучать базовые принципы задачи, а не переобучаться на конкретные формулировки запросов. PAFT работает в два этапа: сначала создается разнообразный набор осмысленных синтетических кандидатов запросов, а затем в процессе тонкой настройки запросы случайным образом выбираются из этого набора для создания динамических обучающих данных. Эксперименты на различных наборах данных и LLM демонстрируют, что модели, обученные с использованием PAFT, проявляют высокую устойчивость и способность к обобщению для широкого спектра запросов, включая ранее не встречавшиеся. Такая повышенная устойчивость улучшает как производительность модели, так и скорость вывода, сохраняя при этом эффективность обучения. Абляционные исследования дополнительно подтверждают эффективность PAFT.

English

While Large Language Models (LLMs) adapt well to downstream tasks after fine-tuning, this adaptability often compromises prompt robustness, as even minor prompt variations can significantly degrade performance. To address this, we propose Prompt-Agnostic Fine-Tuning(PAFT), a simple yet effective approach that dynamically adjusts prompts during fine-tuning. This encourages the model to learn underlying task principles rather than overfitting to specific prompt formulations. PAFT operates in two stages: First, a diverse set of meaningful, synthetic candidate prompts is constructed. Second, during fine-tuning, prompts are randomly sampled from this set to create dynamic training inputs. Extensive experiments across diverse datasets and LLMs demonstrate that models trained with PAFT exhibit strong robustness and generalization across a wide range of prompts, including unseen ones. This enhanced robustness improves both model performance and inference speed while maintaining training efficiency. Ablation studies further confirm the effectiveness of PAFT.